Skip to content
训练第 4 / 4 节

在官方权重上微调 ​

做完这一节,你会用 2026 年的新数据微调一份官方 KiT,并知道什么时候微调有用、什么时候是白费功夫。

微调是什么 ​

从零训练,是让一个什么都不会的模型从头学。微调是拿一个已经学会的模型,用你关心的数据再练一会儿。

就像请一位经验丰富的老交易员来你们组:他不需要从 K 线是什么学起,只需要熟悉一下最近的行情。

第一次尝试:显存不够 ​

最直接的做法是把 2.84 亿个参数全部继续训练:

bash
python train_mini.py --scale 1d --ckpt ckpt/step_market_284M.pt --steps 300 --batch 8 --lr 2e-5 --out runs/ft-1d

我们的 16GB 显卡上同时还开着别的程序,只剩 7GB 左右,结果:

text
model 285.8M params | scale 1d Lc=250 Lh=20 | windows train 4000 val 400 (8s)
step 0 | val 1.3630
torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 12.00 MiB. GPU 0 has a total capacity of 15.56 GiB of which 29.31 MiB is free.

全量训练时,每个参数除了自己,还要存梯度和优化器的两份状态。2.84 亿参数光这些就要 4~5GB,再加上中间结果,7GB 不够。

第二次:只训最后 4 层 ​

--train-last 4 把前面的层冻住,只训练最后 4 个 Transformer 块和输出层。冻住的参数不需要梯度和优化器状态,显存一下子就够了:

bash
python train_mini.py --scale 1d --ckpt ckpt/step_market_284M.pt --train-last 4 --steps 300 --batch 8 --eval-every 50 --lr 2e-5 --warmup 20 --out runs/ft-1d
text
model 285.8M params (51.4M trainable) | scale 1d Lc=250 Lh=20 | windows train 4000 val 400 (8s)
step 0 | val 1.3630
step 50 | train 1.3012 | val 1.3650 | 4s | peak GPU 2.8 GB
...
step 300 | train 1.3271 | val 1.3690 | 25s | peak GPU 2.8 GB

可训练参数 5140 万,峰值显存 2.8GB。但是验证损失从 1.363 到 1.369,一点没降。

为什么没用:这段数据对它不新 ​

这次的训练数据是 2016 年到 2025 年 6 月,验证是 2025 年下半年。按论文第 4.1 节,官方检查点的训练集是 2023 年底以前的全部数据,2024–2025 年是它的验证集:训练时一直用这两年的损失决定什么时候停、留哪个检查点。也就是说,这次的训练数据大部分它直接学过,剩下的和验证窗口也都参与过它的选模型。拿这些再教一遍,学不到新东西。

还有一个信号:官方模型在这 400 段验证数据上的损失是 1.363,比你上一节从零训练的最好成绩 1.787 低得多。一部分是因为它更大、学的数据多得多,一部分是因为这段时间参与过它的选模型,所以这个对比不公平。

微调要用模型训练和验证都没碰过的数据。 对官方检查点来说,就是 2026 年以后的。

第三次:用 2026 年的新数据 ​

演示数据到 2026-04-10。拿 1 小时线:1 月到 2 月底微调,3 月到 4 月 10 日验证。

bash
python train_mini.py --scale 1h --ckpt ckpt/step_market_284M.pt --train-last 4 \
  --train-start 2026-01-01 --train-end 2026-02-27 --val-start 2026-03-02 --val-end 2026-04-10 \
  --per-stock 40 --steps 400 --batch 8 --eval-every 50 --lr 2e-5 --warmup 20 --out runs/ft-1h-2026

你应该看到验证损失先降后升:

text
model 285.8M params (51.4M trainable) | scale 1h Lc=400 Lh=20 | windows train 4000 val 400 (9s)
step 0 | val 1.8550
step 50 | train 1.6560 | val 1.8174 | 7s | peak GPU 3.3 GB
step 100 | train 1.6602 | val 1.8095 | 14s | peak GPU 3.3 GB
...
step 400 | train 1.4729 | val 1.8529 | 53s | peak GPU 3.3 GB
拖一拖微调:损失曲线(真实记录)RTX 4080 SUPER 实测
0 步200 步400 步1.91.4
训练损失验证损失验证最低点

第 100 步,验证损失最低(1.809)。train_mini.py 会在这时存下 best.pt。

验证损失 1.855 → 1.810(第 100 步最低),降了约 2.5%。之后又开始回升:两个月的数据,练 100 步就够了。用 runs/ft-1h-2026/best.pt:

bash
python eval/infer_for_pred.py --ckpt runs/ft-1h-2026/best.pt --case 300733.SZ,1h,"2026-03-20 15:00"

验证损失降了,说明模型对这段新行情的分布更熟了。它会不会让排名更准(RankIC),要在更长的测试期、更多股票上用 infer_for_eval.py 和 cal_metrics.py 去验证。1 月到 4 月加起来只有三个多月,这个实验只能说明流程跑通了、方向对。

查一查我的情况是……

点一个看看。

考考你用 2025 年的数据微调官方 step_market_284M,验证损失几乎不变,最可能的原因是?

检查一下 ​

  • 我知道全量微调为什么爆显存,--train-last 为什么能省
  • 我知道微调要用模型训练截止日期之后的数据
  • 我用 2026 年的数据微调出了一个 best.pt,并用它出了预测图

下一章:读懂 KiT 论文,看每个设计背后的理由和证据。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。