Skip to content
训练第 3 / 4 节

从零训练一个小 KiT ​

做完这一节,你会有一个自己训练的 KiT(3100 万参数,和论文里的 KiT-S 一样大),能拿它出预测图;并且亲眼看到“训练越久,反而越差”是怎么回事。

1. 拿到训练脚本 ​

官方训练代码还没发布。本课写了一个最小版本,只用仓库里已经公开的模型、特征和窗口代码,训练目标照论文:

下载 train_mini.py

放到 KiT 目录里(和 eval/ 同级)。它做的事,就是上一节那五步:

python
t = torch.sigmoid(torch.randn(B))                   # logit-normal 抽 t
eps = torch.randn_like(x_tgt)                       # 噪声
z = (1 - t)[:, None, None] * x_tgt + t[:, None, None] * eps
v = model(torch.cat([x_ctx, z], dim=1), t, cond, Lh)  # 历史干净 + 未来加噪
loss = ((v.float() - (eps - x_tgt)) ** 2).mean()    # 只在未来那段

脚本只有四个函数,大约 200 行:

函数做什么
build_windows对每只股票随机挑锚点,调官方的 prepare_inference_window 拿到历史 x_ctx 和条件 cond,再把锚点之后 Lh 根真实 K 线算成五个数、标准化,作为 x_tgt。停牌导致日历对不上的窗口丢掉
fm_loss上面这五行:抽 t、加噪、前向、算损失
val_loss用固定种子的 t 和噪声在验证窗口上算损失,这样不同步数之间的数字可以直接比
mainAdamW(β=0.9/0.95,权重衰减 0.1)、梯度裁剪 1.0、线性预热,定期验证,存 best.pt 和 last.pt

没做的(论文里有):条件丢弃、历史截断、多市场多粒度混合、多卡 FSDP、参数 EMA。这些正好是练手的好题目,本节最后有两个。

2. 开始训练 ​

bash
python train_mini.py --scale 1d --steps 3000 --per-stock 60 --batch 32 --eval-every 250 --warmup 100 --lr 3e-4 --out runs/scratch-1d
  • --scale 1d:只用日线
  • 模型大小来自 configs/dit_30m.yaml(默认值)
  • 训练窗口:每只股票在 2016 年到 2025-06-30 之间随机切 60 段,共 6000 段
  • 验证窗口:2025 年下半年,每只 4 段,共 400 段,不参与训练

你应该看到(RTX 4080 SUPER,全程 227 秒):

text
model 31.0M params (31.0M trainable) | scale 1d Lc=250 Lh=20 | windows train 6000 val 400 (10s)
step 0 | val 3.4190
step 250 | train 2.2832 | val 1.8879 | 19s | peak GPU 4.3 GB
  saved best.pt (val 1.8879)
step 500 | train 1.8537 | val 1.8116 | 38s | peak GPU 4.3 GB
  saved best.pt (val 1.8116)
step 750 | train 1.7955 | val 1.7866 | 57s | peak GPU 4.3 GB
  saved best.pt (val 1.7866)
step 1000 | train 1.7667 | val 1.7995 | 76s | peak GPU 4.3 GB
...
step 3000 | train 1.3409 | val 2.1159 | 227s | peak GPU 4.3 GB
saved runs/scratch-1d/last.pt

train 是这段时间训练损失的平均,val 是在那 400 段没见过的数据上的损失。数字越小越好。

3. 读懂这条曲线 ​

拖动下面的滑块,看每个检查点:

拖一拖从零训练:损失曲线(真实记录)RTX 4080 SUPER 实测
0 步1500 步3000 步3.51.3
训练损失验证损失验证最低点

第 750 步,验证损失最低(1.787)。train_mini.py 会在这时存下 best.pt。

前 750 步两条线一起降,模型在学真东西。之后训练损失一路降到 1.34,验证损失却从 1.79 回升到 2.12:模型开始记住这 100 只股票的历史细节,而不是学到能推广的规律。这叫过拟合。

原因很简单:100 只股票的日线一共 20.6 万根,论文用的是数十亿根。数据少、模型大,就会这样。所以脚本每次验证损失创新低都会存一份 best.pt,要用的是它,不是最后的 last.pt。

4. 用你的模型出预测图 ​

训练脚本存的检查点格式和官方一样,直接交给预测脚本:

bash
python eval/infer_for_pred.py --ckpt runs/scratch-1d/best.pt --case 300368.SZ,1d,2026-01-05 --out results/mine

你应该看到:

text
[warn] checkpoint has no ema key, falling back to model weights (step=750)
...
      terminal return actual -18.17%  predicted median -20.77% [q05 -43.96%, q95 +37.47%]  cumulative-return curve corr 0.900  0.4s

第一行的警告是正常的:我们没做参数 EMA,脚本就用模型本身的权重。

对比官方模型对同一个例子的预测(第一次预测那一课):区间是 −37% 到 −6%。你的小模型给出的区间是 −44% 到 +37%,宽得多:它也觉得会跌,但对自己很没把握。只看这一个例子说明不了多少,想认真比较,就用上一章的 infer_for_eval.py --ckpt 和 cal_metrics.py 在整段测试期上算 RankIC。

5. 想训得更好 ​

  • 更多数据:100 只股票太少。论文是 4800 多个品种、十年、七种粒度。
  • 更多粒度:把 --scale 换成 1h、30m 再训,或者改脚本让一个 batch 里混合多种粒度。
  • 更早停:本例 750 步左右就该停。--steps 1000 足够。
  • 用官方权重做起点:这就是下一节的微调。

6. 练习:自己补上论文的两个技巧 ​

学过 PyTorch 的话,下面两个改动都只要几行:

  1. 参数 EMA。 开源权重就是 EMA 那份。维护一份影子权重 ema = copy.deepcopy(model),每步之后 ema_p.lerp_(p, 1 - 0.999);验证和保存都用 ema。保存时把它的 state_dict() 放进检查点的 "ema" 键,官方加载函数会优先读它,那条 no ema key 的警告也就没了。论文用 0.9999,小数据、短训练用 0.999 更合适。
  2. 条件丢弃。 在 fm_loss 里,以 10% 的概率把 cond["inst"] 和 cond["sector"] 置 0(“不认识”),以 10% 的概率把历史 x_ctx 清零,同时把历史段的 pad_mask 设为 False(参考 kit_v1/infer/sampler.py 里的 make_nohist_cond)。论文的配置里对应的是 inst_dropout、allcond_dropout、hist_dropout(0.1、0.05、0.1,见 configs/dit_30m.yaml)。训练过条件丢弃,推理时的 --cfg-w 和 --hist-cfg-w 才有意义。

考考你训练损失还在降,验证损失开始升,应该用哪个检查点?

检查一下 ​

  • 我训练出了 runs/scratch-1d/best.pt
  • 我能在曲线上指出过拟合从哪一步开始
  • 我用自己的检查点跑出了一张预测图

下一节:在官方权重上微调。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。