它是怎么学会的
做完这一节,你能用三句话讲清 KiT 训练时每一步在做什么,下一节就能看懂训练脚本的核心那十几行。
先想一个游戏
拿一张清晰的照片,往上面撒一层雪花噪点。撒得少,还看得出原样;撒得多,就只剩雪花。
让一个人练习:给他一张撒了雪花的照片,再告诉他“撒了多少”,让他指出“雪花在哪、该往哪个方向擦”。练得足够多,他就能从一整屏雪花开始,一点一点擦出一张像样的照片。
KiT 的训练就是这个游戏,照片换成了“未来那 20 根 K 线”。
训练的一步
从数据里随便切一段:前面 400 根是历史,后面 20 根是真实的未来(以 1 小时线为例)。
- 1?
- 2?
- 3?
- 4?
- 5?
按先后顺序,一个一个点。
写成公式,就是论文第 3.1 和 3.5 节的三行:
- 混合:z = (1 − t)·x + t·ε,x 是真实的未来,ε 是噪声
- 正确答案(“速度”):v = ε − x
- 损失:模型输出和 v 的均方误差,只在未来那 Lh 根上取平均
为什么预测“速度”,而不是直接预测答案
z 是 x 和 ε 之间的一条直线:t 从 0 走到 1,z 从数据匀速走到噪声。这条直线的方向处处相同,就是 ε − x。模型学会了“在任何位置、任何 t,这条线往哪指”,推理时就能从噪声沿着它倒着走回数据。
线是直的,所以倒着走时步子可以迈得很大:32 步的欧拉法就够了。作为对比,论文附录里的扩散类基线:TimeGrad 每生成一根未来 K 线要 100 个扩散步(还是一根一根往后生成),Diffusion-TS 采样用 200 步。
张量形状
以 1 小时线、batch 为 B 为例:
| 张量 | 形状 | 说明 |
|---|---|---|
x_ctx | [B, 400, 5] | 历史,标准化后的五个数 |
x_tgt | [B, 20, 5] | 真实的未来,同样标准化 |
t | [B] | 每个样本一个流动时间 |
eps | [B, 20, 5] | 标准正态噪声 |
| 模型输入 | [B, 420, 5] | 历史和加噪的未来拼起来(模型内部再加 4 个寄存器) |
模型输出 v | [B, 20, 5] | 只有未来那段 |
输入先标准化:MAD + tanh 软截断
五个比例数的大小差别很大,而且有极端值(涨停、闪崩、成交量暴增)。进模型前,每个(市场, 粒度, 特征)用一个固定的尺度 s 缩放,再软截断(kit_v1/data/normalize.py):
- s = 1.4826 × 中位数绝对偏差(MAD),只用训练期的数据算,存在
stats.json - y = 6 · tanh(x / s / 6)
tanh 让正常范围内的值几乎不变,极端值被平滑地压到 ±6 以内,而不是直接砍掉。论文的说法是“训练稳定,又不丢掉异常值”。预测完用 atanh 反过来还原。
推理时就反过来:从 t = 1(纯噪声)出发,每一步沿着模型说的方向往回走一小段,走到 t = 0 就是预测。这就是你在课程首页拖动的那个滑块。
模型先读历史:过去 400 根 1 小时 K 线(这里只画了最后 48 根)。
t 怎么抽
t 不是均匀抽的。论文用 logit-normal:先从标准正态分布抽一个数,再过一个 sigmoid。这样 t 大多落在 0.5 附近,训练的力气主要花在“一半数据、一半噪声”的中间难度上;全是噪声或几乎没噪声的情况,学起来没什么信息量。
代码里就一行:t = torch.sigmoid(torch.randn(B))。
还有三个“故意丢东西”的技巧
训练时会随机把一部分条件拿掉(论文 3.5 节):
- 把股票和行业的身份换成“不认识”
- 把市场、行业、股票、粒度这些身份全部清空
- 把整段历史清零
这样模型同时学会了“有身份 / 没身份”“有历史 / 没历史”时该怎么预测。推理时的 --cfg-w 和 --hist-cfg-w,就是拿这几种预测的差来放大某个条件的作用(无分类器引导,CFG)。上一章说过,默认不开。
论文的训练配置
| 项 | 值 |
|---|---|
| 优化器 | AdamW,β1 = 0.9,β2 = 0.95,权重衰减 0.1 |
| 学习率 | 峰值 1e-4,先预热 1000 步 |
| 精度 | BF16 |
| 全局 batch | 4096 |
| 梯度裁剪 | 1.0 |
| 参数 EMA | 衰减 0.9999(开源权重就是 EMA 那份) |
| 硬件 | 128 张 NVIDIA H200 |
| 停止条件 | 各(市场, 粒度)的平均验证损失不再下降 |
| 模型大小 | KiT-S 3100 万、KiT-M 1.01 亿、KiT-L 2.84 亿参数 |
128 张 H200 我们没有。下一节用一张 16GB 的显卡、100 只股票,把同一个训练目标跑起来,看看会发生什么。
官方训练代码还没发布
官方仓库的 kit_v1/train/README.md 写着 “TBD. Training code will be released here.” 下一节用的是本课自己写的最小脚本,只用仓库里已经公开的模型和数据代码,训练目标照论文写。
考考你训练时,损失算在哪一段上?
检查一下
- 我能说出训练一步的五件事
- 我知道“速度”的正确答案是 噪声 − 真实
- 我知道 t 为什么大多抽在 0.5 附近
下一节:从零训练一个小 KiT。