在官方权重上微调
做完这一节,你会用 2026 年的新数据微调一份官方 KiT,并知道什么时候微调有用、什么时候是白费功夫。
微调是什么
从零训练,是让一个什么都不会的模型从头学。微调是拿一个已经学会的模型,用你关心的数据再练一会儿。
就像请一位经验丰富的老交易员来你们组:他不需要从 K 线是什么学起,只需要熟悉一下最近的行情。
第一次尝试:显存不够
最直接的做法是把 2.84 亿个参数全部继续训练:
python train_mini.py --scale 1d --ckpt ckpt/step_market_284M.pt --steps 300 --batch 8 --lr 2e-5 --out runs/ft-1d我们的 16GB 显卡上同时还开着别的程序,只剩 7GB 左右,结果:
model 285.8M params | scale 1d Lc=250 Lh=20 | windows train 4000 val 400 (8s)
step 0 | val 1.3630
torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 12.00 MiB. GPU 0 has a total capacity of 15.56 GiB of which 29.31 MiB is free.全量训练时,每个参数除了自己,还要存梯度和优化器的两份状态。2.84 亿参数光这些就要 4~5GB,再加上中间结果,7GB 不够。
第二次:只训最后 4 层
--train-last 4 把前面的层冻住,只训练最后 4 个 Transformer 块和输出层。冻住的参数不需要梯度和优化器状态,显存一下子就够了:
python train_mini.py --scale 1d --ckpt ckpt/step_market_284M.pt --train-last 4 --steps 300 --batch 8 --eval-every 50 --lr 2e-5 --warmup 20 --out runs/ft-1dmodel 285.8M params (51.4M trainable) | scale 1d Lc=250 Lh=20 | windows train 4000 val 400 (8s)
step 0 | val 1.3630
step 50 | train 1.3012 | val 1.3650 | 4s | peak GPU 2.8 GB
...
step 300 | train 1.3271 | val 1.3690 | 25s | peak GPU 2.8 GB可训练参数 5140 万,峰值显存 2.8GB。但是验证损失从 1.363 到 1.369,一点没降。
为什么没用:这段数据对它不新
这次的训练数据是 2016 年到 2025 年 6 月,验证是 2025 年下半年。按论文第 4.1 节,官方检查点的训练集是 2023 年底以前的全部数据,2024–2025 年是它的验证集:训练时一直用这两年的损失决定什么时候停、留哪个检查点。也就是说,这次的训练数据大部分它直接学过,剩下的和验证窗口也都参与过它的选模型。拿这些再教一遍,学不到新东西。
还有一个信号:官方模型在这 400 段验证数据上的损失是 1.363,比你上一节从零训练的最好成绩 1.787 低得多。一部分是因为它更大、学的数据多得多,一部分是因为这段时间参与过它的选模型,所以这个对比不公平。
微调要用模型训练和验证都没碰过的数据。 对官方检查点来说,就是 2026 年以后的。
第三次:用 2026 年的新数据
演示数据到 2026-04-10。拿 1 小时线:1 月到 2 月底微调,3 月到 4 月 10 日验证。
python train_mini.py --scale 1h --ckpt ckpt/step_market_284M.pt --train-last 4 \
--train-start 2026-01-01 --train-end 2026-02-27 --val-start 2026-03-02 --val-end 2026-04-10 \
--per-stock 40 --steps 400 --batch 8 --eval-every 50 --lr 2e-5 --warmup 20 --out runs/ft-1h-2026你应该看到验证损失先降后升:
model 285.8M params (51.4M trainable) | scale 1h Lc=400 Lh=20 | windows train 4000 val 400 (9s)
step 0 | val 1.8550
step 50 | train 1.6560 | val 1.8174 | 7s | peak GPU 3.3 GB
step 100 | train 1.6602 | val 1.8095 | 14s | peak GPU 3.3 GB
...
step 400 | train 1.4729 | val 1.8529 | 53s | peak GPU 3.3 GB第 100 步,验证损失最低(1.809)。train_mini.py 会在这时存下 best.pt。
验证损失 1.855 → 1.810(第 100 步最低),降了约 2.5%。之后又开始回升:两个月的数据,练 100 步就够了。用 runs/ft-1h-2026/best.pt:
python eval/infer_for_pred.py --ckpt runs/ft-1h-2026/best.pt --case 300733.SZ,1h,"2026-03-20 15:00"验证损失降了,说明模型对这段新行情的分布更熟了。它会不会让排名更准(RankIC),要在更长的测试期、更多股票上用 infer_for_eval.py 和 cal_metrics.py 去验证。1 月到 4 月加起来只有三个多月,这个实验只能说明流程跑通了、方向对。
查一查我的情况是……
点一个看看。
考考你用 2025 年的数据微调官方 step_market_284M,验证损失几乎不变,最可能的原因是?
检查一下
- 我知道全量微调为什么爆显存,
--train-last为什么能省 - 我知道微调要用模型训练截止日期之后的数据
- 我用 2026 年的数据微调出了一个
best.pt,并用它出了预测图
下一章:读懂 KiT 论文,看每个设计背后的理由和证据。