Skip to content
训练第 1 / 4 节

模型结构:KlineDiT ​

这一节假设你知道 Transformer 的注意力、残差和 LayerNorm 是什么。做完这一节,你能对着 kit_v1/model/dit.py 说出一次前向传播里每个张量的形状和来历,下一节看训练代码时就不会卡住。

一句话版本 ​

KiT 是一个 DiT(Diffusion Transformer):把干净的历史和加了噪的未来排成一条 token 序列,用双向注意力的 Transformer 处理,只在未来那段输出“速度”。

输入:一条序列,三段 ​

以官方 KiT-L 预测 1 小时线为例(Lc=400,Lh=20,d_model=1024):

text
[ r1 r2 r3 r4 | x_1 … x_400 | z_1 … z_20 ]
  寄存器 4 个    历史(干净)    未来(加噪)

查一查序列里的这一段……

点一个看看。

前向传播开头的几行(dit.py):

python
tok = (self.in_proj(z)                    # [B, L, 5]  -> [B, L, d]
       + self.role_emb(role_tok)          # 0=历史 1=未来
       + self.calendar(clock, sess, dow, event, month, yday))   # [B, L, d]
x = torch.cat([registers, tok], dim=1)    # [B, 4 + L, d],L = Lc + Lh = 420

条件分两路走 ​

K 线之外,模型还知道很多事:这是哪个市场、哪个行业、哪只股票、什么粒度,现在是几点、星期几。论文的设计原则是:

  • 整个窗口都一样的条件(市场、行业、股票、粒度、流动时间 t)→ 汇成一个向量,通过 AdaLN 调制每一层
  • 每根 K 线都不一样的条件(时刻、星期、节假日事件……)→ 直接加到那根 K 线的 token 上,保住时间上的对齐

第一路的计算:

python
c_base = market_emb + sector_emb + inst_proj(inst_emb) + scale_emb   # [B, d]
h = silu(W1(t_emb(t) + c_base))                                      # SharedAdaLN
c_mod = W2(h)        # [B, 6d] → 每层的 shift1, scale1, gate1, shift2, scale2, gate2

股票的嵌入表是低秩的:8192 个槽位 × 512 维,再投影到 1024。槽位 0 是“不认识”,所以填 vocab_index: 0 也能用(上一章讲过)。

一个细节:历史 token 和未来 token 拿到的调制不一样。未来用真实的 t 算 c_mod,历史用 t=0 再算一遍(同一套权重)。因为历史本来就是“没有噪声”的状态。

每一层:AdaLN + 注意力 + SwiGLU ​

python
mod = where(role == 未来, c_mod_tgt, c_mod_ctx) + bias_i   # 按 token 角色选调制,再加每层自己的偏置
h = rmsnorm(x) * (1 + scale1) + shift1
x = x + gate1 * attention(h)          # 双向注意力,RoPE 位置编码,QK-Norm
h = rmsnorm(x) * (1 + scale2) + shift2
x = x + gate2 * swiglu(h)

和 DiT 原论文一样的“AdaLN-Zero”思路:W2 和输出层都初始化为 0,所以训练刚开始时每一层都是恒等映射、模型输出 0,训练更稳。

注意力没有因果掩码,只屏蔽补齐的位置。所以历史能看到未来的噪声 token,未来也能看到全部历史。这和自回归模型(一根一根往后生成)根本不同:20 根是一起生成的,不会“错一根、后面跟着错”。论文把这一点列为相对 Kronos 等自回归模型的优势。

输出:只取未来那段 ​

python
x_tgt = x[:, 4 + Lc:, :]                          # [B, Lh, d]
h = rmsnorm(x_tgt) * (1 + scale_f) + shift_f      # 最后再调制一次
v_pred = out_proj(h)                              # [B, Lh, 5]:每根未来 K 线五个数的“速度”

三个尺寸 ​

KiT-SKiT-MKiT-L(开源)
参数3100 万1.01 亿2.84 亿
配置文件configs/dit_30m.yamlconfigs/dit_100m.yamlconfigs/dit_300m.yaml
d_model5127681024
层数81321
注意力头468
FFN 隐层140820482816

数字来自论文附录的 Table 3。三个尺寸论文里都训练了 5 万步。

自己验证一下 KiT-L 的参数量:

bash
python -c "import torch;from kit_v1.infer import load_model_and_config as f;m,c=f('ckpt/step_market_284M.pt','tiny',0);print(sum(p.numel() for p in m.parameters()), c.model.n_layers, c.model.d_model)"

你应该看到:

text
[info] loaded EMA weights (step=50000)
285789189 21 1024

2.858 亿,比论文表里的 283.7M 多约 210 万:开源权重的股票嵌入表是 8192 个槽位(配置文件里写的是 4096),多出的 4096 × 512 正好是这个数。

考考你“这只股票是谁”和“这根 K 线是星期几”,分别通过什么进入模型?

检查一下 ​

  • 我能写出 1 小时线一次前向时序列的长度:4 + 400 + 20
  • 我知道哪些条件走 AdaLN、哪些加到 token 上
  • 我知道为什么 20 根未来 K 线是一起生成的,不会误差累积

下一节:它是怎么学会的。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。