模型结构:KlineDiT
这一节假设你知道 Transformer 的注意力、残差和 LayerNorm 是什么。做完这一节,你能对着 kit_v1/model/dit.py 说出一次前向传播里每个张量的形状和来历,下一节看训练代码时就不会卡住。
一句话版本
KiT 是一个 DiT(Diffusion Transformer):把干净的历史和加了噪的未来排成一条 token 序列,用双向注意力的 Transformer 处理,只在未来那段输出“速度”。
输入:一条序列,三段
以官方 KiT-L 预测 1 小时线为例(Lc=400,Lh=20,d_model=1024):
[ r1 r2 r3 r4 | x_1 … x_400 | z_1 … z_20 ]
寄存器 4 个 历史(干净) 未来(加噪)查一查序列里的这一段……
点一个看看。
前向传播开头的几行(dit.py):
tok = (self.in_proj(z) # [B, L, 5] -> [B, L, d]
+ self.role_emb(role_tok) # 0=历史 1=未来
+ self.calendar(clock, sess, dow, event, month, yday)) # [B, L, d]
x = torch.cat([registers, tok], dim=1) # [B, 4 + L, d],L = Lc + Lh = 420条件分两路走
K 线之外,模型还知道很多事:这是哪个市场、哪个行业、哪只股票、什么粒度,现在是几点、星期几。论文的设计原则是:
- 整个窗口都一样的条件(市场、行业、股票、粒度、流动时间 t)→ 汇成一个向量,通过 AdaLN 调制每一层
- 每根 K 线都不一样的条件(时刻、星期、节假日事件……)→ 直接加到那根 K 线的 token 上,保住时间上的对齐
第一路的计算:
c_base = market_emb + sector_emb + inst_proj(inst_emb) + scale_emb # [B, d]
h = silu(W1(t_emb(t) + c_base)) # SharedAdaLN
c_mod = W2(h) # [B, 6d] → 每层的 shift1, scale1, gate1, shift2, scale2, gate2股票的嵌入表是低秩的:8192 个槽位 × 512 维,再投影到 1024。槽位 0 是“不认识”,所以填 vocab_index: 0 也能用(上一章讲过)。
一个细节:历史 token 和未来 token 拿到的调制不一样。未来用真实的 t 算 c_mod,历史用 t=0 再算一遍(同一套权重)。因为历史本来就是“没有噪声”的状态。
每一层:AdaLN + 注意力 + SwiGLU
mod = where(role == 未来, c_mod_tgt, c_mod_ctx) + bias_i # 按 token 角色选调制,再加每层自己的偏置
h = rmsnorm(x) * (1 + scale1) + shift1
x = x + gate1 * attention(h) # 双向注意力,RoPE 位置编码,QK-Norm
h = rmsnorm(x) * (1 + scale2) + shift2
x = x + gate2 * swiglu(h)和 DiT 原论文一样的“AdaLN-Zero”思路:W2 和输出层都初始化为 0,所以训练刚开始时每一层都是恒等映射、模型输出 0,训练更稳。
注意力没有因果掩码,只屏蔽补齐的位置。所以历史能看到未来的噪声 token,未来也能看到全部历史。这和自回归模型(一根一根往后生成)根本不同:20 根是一起生成的,不会“错一根、后面跟着错”。论文把这一点列为相对 Kronos 等自回归模型的优势。
输出:只取未来那段
x_tgt = x[:, 4 + Lc:, :] # [B, Lh, d]
h = rmsnorm(x_tgt) * (1 + scale_f) + shift_f # 最后再调制一次
v_pred = out_proj(h) # [B, Lh, 5]:每根未来 K 线五个数的“速度”三个尺寸
| KiT-S | KiT-M | KiT-L(开源) | |
|---|---|---|---|
| 参数 | 3100 万 | 1.01 亿 | 2.84 亿 |
| 配置文件 | configs/dit_30m.yaml | configs/dit_100m.yaml | configs/dit_300m.yaml |
| d_model | 512 | 768 | 1024 |
| 层数 | 8 | 13 | 21 |
| 注意力头 | 4 | 6 | 8 |
| FFN 隐层 | 1408 | 2048 | 2816 |
数字来自论文附录的 Table 3。三个尺寸论文里都训练了 5 万步。
自己验证一下 KiT-L 的参数量:
python -c "import torch;from kit_v1.infer import load_model_and_config as f;m,c=f('ckpt/step_market_284M.pt','tiny',0);print(sum(p.numel() for p in m.parameters()), c.model.n_layers, c.model.d_model)"你应该看到:
[info] loaded EMA weights (step=50000)
285789189 21 10242.858 亿,比论文表里的 283.7M 多约 210 万:开源权重的股票嵌入表是 8192 个槽位(配置文件里写的是 4096),多出的 4096 × 512 正好是这个数。
考考你“这只股票是谁”和“这根 K 线是星期几”,分别通过什么进入模型?
检查一下
- 我能写出 1 小时线一次前向时序列的长度:4 + 400 + 20
- 我知道哪些条件走 AdaLN、哪些加到 token 上
- 我知道为什么 20 根未来 K 线是一起生成的,不会误差累积
下一节:它是怎么学会的。