Skip to content
读懂论文第 5 / 7 节

精读 3.5 与附录 D:训练目标和双重引导 ​

做完这一节,你能写出 KiT 的训练损失和推理时的引导公式,并且能看着表 8 说出两个引导旋钮分别会把 64 条路径往哪拉。

3.1 + 3.5:训练目标 ​

把 3.1 节的预备知识和 3.5 节合起来,只有三个公式:

  • (1) 加噪:z_t = (1 − t) x₀ + t ε
  • (2) 目标速度:v* = ε − x₀,损失是均方误差
  • (8) KiT 的版本:均方误差只在未来的 Lh 个位置上平均,历史参与注意力,但不进损失

t 从 logit-normal 分布抽:t = σ(N(0, 1))。这是从 Stable Diffusion 3 那篇(Esser 等,2024)借来的,让训练集中在中间噪声水平。代码细节见训练那一章。

三种条件丢弃:为了引导 ​

训练时以一定概率做三种替换:

  1. 品种和行业的嵌入换成一个共享的 [UNK](“不认识”)
  2. 所有身份信号(市场、行业、品种、粒度)换成 [NULL]
  3. 整段历史清零

这样同一个网络就学会了三种预测:有全部条件的、没有身份的、没有历史的。官方配置里对应 inst_dropout、allcond_dropout、hist_dropout。

公式 (9):双重无分类器引导 ​

无分类器引导(CFG)是条件生成模型最常用的推理旋钮。附录 D 的公式 (10) 是标准形式:

v = v∅ + w (v_c − v∅)

w = 1 就是普通的条件模型;w > 1 把“有条件”和“没条件”的差放大,样本更贴近条件、但多样性变小。图像生成里调大 CFG,画面更贴提示词但更单调,是一个道理。

KiT 把它拆成两个独立的轴,公式 (9):

v̂ = v_θ + (w_id − 1)(v_θ − v∅id) + (w_hist − 1)(v_θ − v∅hist)

  • 身份引导 w_id:放大“这是哪个品种”的作用。品种身份带着它的“慢性格”:典型的漂移、波动、K 线形状。
  • 历史引导 w_hist:放大“最近这段走势”的作用。

推理脚本的 --cfg-w 和 --hist-cfg-w 就是这两个 w;代码在 kit_v1/infer/sampler.py,三种预测在一次批量前向里一起算。

附录 D:两个旋钮各拉一个方向 ​

论文挑了 100 个品种,每个从同一份初始噪声采 64 条路径,一次只调一个 w(1 到 4),看三个指标(越小越“贴”):

  • Prior gap:路径的波动率离这个品种长期的波动率有多远
  • History gap:路径的平均终点收益离最近一段的收益有多远
  • Spread:64 条路径终点的分散程度
拖一拖两种引导,各拉一个方向数据:论文附录 D 表 8
离品种本色(Prior gap)
0.41
离最近走势(History gap)
0.52
路径分散度(Spread)
1.08

w = 1 就是不加引导,论文主结果用的就是这个设置。

读法:

  • w_id 从 1 到 4,Prior gap 0.41 → 0.15,History gap 一直在 0.5 附近:身份引导只把路径拉向品种的本色。
  • w_hist 从 1 到 4,History gap 0.52 → 0.19,Prior gap 一直在 0.4 附近:历史引导只把路径拉向最近的走势。
  • 两个都会让 Spread 变小(1.08 → 0.69 或 0.72):贴得越紧,路径越不多样。

那为什么默认是 1?论文还比较了收益预测的 IC 和 RankIC:调大 CFG 对某些品种(尤其一些高波动品种)有帮助,但整体平均几乎不变。所以主结果两个 w 都保持 1,也就是不开引导。

这也是推理脚本帮助里写“--cfg-w 会损害校准,慎用”的背景:路径集中了,分布看起来更自信,但不一定更准。

考考你你想让预测的波动幅度更像这只股票平时的样子,应该调哪个?

检查一下 ​

  • 我能写出 KiT 的训练损失,并说出它只算哪一段
  • 我知道三种条件丢弃和两个引导旋钮的对应关系
  • 我能用表 8 说出 w_id 和 w_hist 各拉哪个方向,为什么默认都是 1

下一节:精读第 4 节:实验怎么读。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。