精读 3.5 与附录 D:训练目标和双重引导
做完这一节,你能写出 KiT 的训练损失和推理时的引导公式,并且能看着表 8 说出两个引导旋钮分别会把 64 条路径往哪拉。
3.1 + 3.5:训练目标
把 3.1 节的预备知识和 3.5 节合起来,只有三个公式:
- (1) 加噪:z_t = (1 − t) x₀ + t ε
- (2) 目标速度:v* = ε − x₀,损失是均方误差
- (8) KiT 的版本:均方误差只在未来的 Lh 个位置上平均,历史参与注意力,但不进损失
t 从 logit-normal 分布抽:t = σ(N(0, 1))。这是从 Stable Diffusion 3 那篇(Esser 等,2024)借来的,让训练集中在中间噪声水平。代码细节见训练那一章。
三种条件丢弃:为了引导
训练时以一定概率做三种替换:
- 品种和行业的嵌入换成一个共享的 [UNK](“不认识”)
- 所有身份信号(市场、行业、品种、粒度)换成 [NULL]
- 整段历史清零
这样同一个网络就学会了三种预测:有全部条件的、没有身份的、没有历史的。官方配置里对应 inst_dropout、allcond_dropout、hist_dropout。
公式 (9):双重无分类器引导
无分类器引导(CFG)是条件生成模型最常用的推理旋钮。附录 D 的公式 (10) 是标准形式:
v = v∅ + w (v_c − v∅)
w = 1 就是普通的条件模型;w > 1 把“有条件”和“没条件”的差放大,样本更贴近条件、但多样性变小。图像生成里调大 CFG,画面更贴提示词但更单调,是一个道理。
KiT 把它拆成两个独立的轴,公式 (9):
v̂ = v_θ + (w_id − 1)(v_θ − v∅id) + (w_hist − 1)(v_θ − v∅hist)
- 身份引导 w_id:放大“这是哪个品种”的作用。品种身份带着它的“慢性格”:典型的漂移、波动、K 线形状。
- 历史引导 w_hist:放大“最近这段走势”的作用。
推理脚本的 --cfg-w 和 --hist-cfg-w 就是这两个 w;代码在 kit_v1/infer/sampler.py,三种预测在一次批量前向里一起算。
附录 D:两个旋钮各拉一个方向
论文挑了 100 个品种,每个从同一份初始噪声采 64 条路径,一次只调一个 w(1 到 4),看三个指标(越小越“贴”):
- Prior gap:路径的波动率离这个品种长期的波动率有多远
- History gap:路径的平均终点收益离最近一段的收益有多远
- Spread:64 条路径终点的分散程度
w = 1 就是不加引导,论文主结果用的就是这个设置。
读法:
- w_id 从 1 到 4,Prior gap 0.41 → 0.15,History gap 一直在 0.5 附近:身份引导只把路径拉向品种的本色。
- w_hist 从 1 到 4,History gap 0.52 → 0.19,Prior gap 一直在 0.4 附近:历史引导只把路径拉向最近的走势。
- 两个都会让 Spread 变小(1.08 → 0.69 或 0.72):贴得越紧,路径越不多样。
那为什么默认是 1?论文还比较了收益预测的 IC 和 RankIC:调大 CFG 对某些品种(尤其一些高波动品种)有帮助,但整体平均几乎不变。所以主结果两个 w 都保持 1,也就是不开引导。
这也是推理脚本帮助里写“--cfg-w 会损害校准,慎用”的背景:路径集中了,分布看起来更自信,但不一定更准。
考考你你想让预测的波动幅度更像这只股票平时的样子,应该调哪个?
检查一下
- 我能写出 KiT 的训练损失,并说出它只算哪一段
- 我知道三种条件丢弃和两个引导旋钮的对应关系
- 我能用表 8 说出 w_id 和 w_hist 各拉哪个方向,为什么默认都是 1
下一节:精读第 4 节:实验怎么读。