Skip to content
训练第 2 / 4 节

它是怎么学会的 ​

做完这一节,你能用三句话讲清 KiT 训练时每一步在做什么,下一节就能看懂训练脚本的核心那十几行。

先想一个游戏 ​

拿一张清晰的照片,往上面撒一层雪花噪点。撒得少,还看得出原样;撒得多,就只剩雪花。

让一个人练习:给他一张撒了雪花的照片,再告诉他“撒了多少”,让他指出“雪花在哪、该往哪个方向擦”。练得足够多,他就能从一整屏雪花开始,一点一点擦出一张像样的照片。

KiT 的训练就是这个游戏,照片换成了“未来那 20 根 K 线”。

训练的一步 ​

从数据里随便切一段:前面 400 根是历史,后面 20 根是真实的未来(以 1 小时线为例)。

排一排训练的一步,按顺序点
  1. 1?
  2. 2?
  3. 3?
  4. 4?
  5. 5?

按先后顺序,一个一个点。

写成公式,就是论文第 3.1 和 3.5 节的三行:

  • 混合:z = (1 − t)·x + t·ε,x 是真实的未来,ε 是噪声
  • 正确答案(“速度”):v = ε − x
  • 损失:模型输出和 v 的均方误差,只在未来那 Lh 根上取平均

为什么预测“速度”,而不是直接预测答案 ​

z 是 x 和 ε 之间的一条直线:t 从 0 走到 1,z 从数据匀速走到噪声。这条直线的方向处处相同,就是 ε − x。模型学会了“在任何位置、任何 t,这条线往哪指”,推理时就能从噪声沿着它倒着走回数据。

线是直的,所以倒着走时步子可以迈得很大:32 步的欧拉法就够了。作为对比,论文附录里的扩散类基线:TimeGrad 每生成一根未来 K 线要 100 个扩散步(还是一根一根往后生成),Diffusion-TS 采样用 200 步。

张量形状 ​

以 1 小时线、batch 为 B 为例:

张量形状说明
x_ctx[B, 400, 5]历史,标准化后的五个数
x_tgt[B, 20, 5]真实的未来,同样标准化
t[B]每个样本一个流动时间
eps[B, 20, 5]标准正态噪声
模型输入[B, 420, 5]历史和加噪的未来拼起来(模型内部再加 4 个寄存器)
模型输出 v[B, 20, 5]只有未来那段

输入先标准化:MAD + tanh 软截断 ​

五个比例数的大小差别很大,而且有极端值(涨停、闪崩、成交量暴增)。进模型前,每个(市场, 粒度, 特征)用一个固定的尺度 s 缩放,再软截断(kit_v1/data/normalize.py):

  • s = 1.4826 × 中位数绝对偏差(MAD),只用训练期的数据算,存在 stats.json
  • y = 6 · tanh(x / s / 6)

tanh 让正常范围内的值几乎不变,极端值被平滑地压到 ±6 以内,而不是直接砍掉。论文的说法是“训练稳定,又不丢掉异常值”。预测完用 atanh 反过来还原。

推理时就反过来:从 t = 1(纯噪声)出发,每一步沿着模型说的方向往回走一小段,走到 t = 0 就是预测。这就是你在课程首页拖动的那个滑块。

看一遍KiT 怎么画出未来的 20 根 K 线真实输出:300733.SZ · 1 小时线
锚点 2026-02-09 15:0029.37

模型先读历史:过去 400 根 1 小时 K 线(这里只画了最后 48 根)。

t 怎么抽 ​

t 不是均匀抽的。论文用 logit-normal:先从标准正态分布抽一个数,再过一个 sigmoid。这样 t 大多落在 0.5 附近,训练的力气主要花在“一半数据、一半噪声”的中间难度上;全是噪声或几乎没噪声的情况,学起来没什么信息量。

代码里就一行:t = torch.sigmoid(torch.randn(B))。

还有三个“故意丢东西”的技巧 ​

训练时会随机把一部分条件拿掉(论文 3.5 节):

  1. 把股票和行业的身份换成“不认识”
  2. 把市场、行业、股票、粒度这些身份全部清空
  3. 把整段历史清零

这样模型同时学会了“有身份 / 没身份”“有历史 / 没历史”时该怎么预测。推理时的 --cfg-w 和 --hist-cfg-w,就是拿这几种预测的差来放大某个条件的作用(无分类器引导,CFG)。上一章说过,默认不开。

论文的训练配置 ​

项值
优化器AdamW,β1 = 0.9,β2 = 0.95,权重衰减 0.1
学习率峰值 1e-4,先预热 1000 步
精度BF16
全局 batch4096
梯度裁剪1.0
参数 EMA衰减 0.9999(开源权重就是 EMA 那份)
硬件128 张 NVIDIA H200
停止条件各(市场, 粒度)的平均验证损失不再下降
模型大小KiT-S 3100 万、KiT-M 1.01 亿、KiT-L 2.84 亿参数

128 张 H200 我们没有。下一节用一张 16GB 的显卡、100 只股票,把同一个训练目标跑起来,看看会发生什么。

官方训练代码还没发布

官方仓库的 kit_v1/train/README.md 写着 “TBD. Training code will be released here.” 下一节用的是本课自己写的最小脚本,只用仓库里已经公开的模型和数据代码,训练目标照论文写。

考考你训练时,损失算在哪一段上?

检查一下 ​

  • 我能说出训练一步的五件事
  • 我知道“速度”的正确答案是 噪声 − 真实
  • 我知道 t 为什么大多抽在 0.5 附近

下一节:从零训练一个小 KiT。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。