精读 3.3–3.4:结构和条件注入
训练那一章的“模型结构”讲了代码里每个张量的形状。这一节换成论文的视角:每个设计背后的理由,以及消融实验给出的证据。
公式 (4):一条序列
text
[ r_1 … r_nr | x_1 … x_Lc | z_1 … z_Lh ]
寄存器 干净的历史 加噪的未来论文对每一段的说明:
- 寄存器:可学习的参数,作为“全局注意力汇聚点和信息聚合器”。不对应任何时刻。
- 历史:Lc 根干净的 K 线,从不加噪,输出时原样返回(论文说 bit-identical)。
- 未来:Lh 根,训练时是加噪的 z_t,推理时是纯高斯噪声。
为什么历史和未来放在同一条序列里,而不是用一个编码器读历史、另一个解码器生成未来?引言给了答案:这样注意力在整个窗口上是双向的,条件信息(历史)完整保留,未来的每一根都能直接看到历史的每一根,也能看到彼此。
条件分两路:论文的“条件纪律”
这是 3.3 节的核心。论文把所有条件按“粒度”分成两类,分别用不同的机制:
| 条件 | 例子 | 怎么进模型 | 理由 |
|---|---|---|---|
| 窗口不变(身份) | 市场、行业、品种、粒度,还有流动时间 t | 各自嵌入后相加成 c_base,和 t 的嵌入一起过一个浅 MLP(共享 AdaLN),调制每一层 | 对整个窗口都一样,适合当全局的“风格” |
| 逐根变化(日历) | 日内时刻(傅里叶编码)、在交易时段的位置、星期、事件标记、月份、年内第几天 | 嵌入后直接加到对应那根 K 线的 token 上 | 必须和那根 K 线在时间上对齐;推理时也能提前确定 |
共享 AdaLN 借鉴的是 PixArt-α:一个 MLP 算出所有层共用的调制参数,每层只再加一个自己的偏置 b_l(公式 5),比每层各配一个 AdaLN 省参数。
一个巧妙的细节:历史用 t = 0 调制
共享 AdaLN 被算两次:
- 用真实的 t 算一次,得到 c_tgt,给未来的 token
- 用 t = 0 再算一次,得到 c_ctx,给寄存器和历史的 token
论文的理由:历史没有噪声,本来就处在流的“干净数据”那一端,也就是 t = 0。因为 MLP 是共享的、很浅,多算一次几乎不花钱,却让两种角色的 token 各自拿到合适的归一化参数。
3.4:一层 KiT 块
公式 (6)(7) 和标准 DiT 块一样是“调制后的 RMSNorm → 注意力 → 门控残差”,再来一遍换成 SwiGLU:
- x ← x + α₁ ⊙ Attn(RMSNorm(x) ⊙ (1 + γ₁) + β₁)
- x ← x + α₂ ⊙ SwiGLU(RMSNorm(x) ⊙ (1 + γ₂) + β₂)
三个值得注意的选择:
- 注意力不是因果的。 每个 token,包括未来的,都看整条序列。论文说这让模型能利用“噪声里未来各根之间的依赖”。
- RoPE 位置编码 + QK-Norm,为了训练稳定。
- 零初始化。 产生门控 α 的输出层和每层偏置 b_l 都初始化为 0,所以训练开始时每个块都是恒等映射,模型输出的速度是 0。这避免了训练初期巨大、无意义的梯度(DiT 原论文的做法)。
证据:附录 E 表 10
只改条件注入,其他不变,平均收益 RankIC:
| 配置 | 平均收益 RankIC |
|---|---|
| AdaLN 身份 + 逐根日历(KiT) | 0.0571 |
| 身份只留市场和行业(去掉品种和粒度) | 0.0386 |
| 完全不用身份(c_base = 0) | 0.0329 |
| 不用逐根日历 | 0.0372 |
三个结论:
- 身份最重要:全去掉掉得最多,0.0571 → 0.0329。
- 细粒度的身份有用:只留市场和行业能回到 0.0386,但离 0.0571 还差很远,说明“具体是哪只股票、什么粒度”带着粗粒度身份给不了的信息。
- 日历也有用:去掉掉到 0.0372。开盘、收盘、节假日前后这些时间结构,既不在身份里,也不能只靠历史学出来。
论文由此得出:每类信号按它自己的粒度注入,整个设计才成立。
考考你为什么“星期几”不像“品种”那样走 AdaLN?
检查一下
- 我能说出序列里三段各是什么、历史为什么不加噪
- 我能说出哪些条件走 AdaLN、哪些加到 token,以及理由
- 我能解释历史为什么用 t = 0 调制
- 我能用表 10 说明身份和日历各值多少