Skip to content
读懂论文第 4 / 7 节

精读 3.3–3.4:结构和条件注入 ​

训练那一章的“模型结构”讲了代码里每个张量的形状。这一节换成论文的视角:每个设计背后的理由,以及消融实验给出的证据。

公式 (4):一条序列 ​

text
[ r_1 … r_nr | x_1 … x_Lc | z_1 … z_Lh ]
   寄存器       干净的历史     加噪的未来

论文对每一段的说明:

  • 寄存器:可学习的参数,作为“全局注意力汇聚点和信息聚合器”。不对应任何时刻。
  • 历史:Lc 根干净的 K 线,从不加噪,输出时原样返回(论文说 bit-identical)。
  • 未来:Lh 根,训练时是加噪的 z_t,推理时是纯高斯噪声。

为什么历史和未来放在同一条序列里,而不是用一个编码器读历史、另一个解码器生成未来?引言给了答案:这样注意力在整个窗口上是双向的,条件信息(历史)完整保留,未来的每一根都能直接看到历史的每一根,也能看到彼此。

条件分两路:论文的“条件纪律” ​

这是 3.3 节的核心。论文把所有条件按“粒度”分成两类,分别用不同的机制:

条件例子怎么进模型理由
窗口不变(身份)市场、行业、品种、粒度,还有流动时间 t各自嵌入后相加成 c_base,和 t 的嵌入一起过一个浅 MLP(共享 AdaLN),调制每一层对整个窗口都一样,适合当全局的“风格”
逐根变化(日历)日内时刻(傅里叶编码)、在交易时段的位置、星期、事件标记、月份、年内第几天嵌入后直接加到对应那根 K 线的 token 上必须和那根 K 线在时间上对齐;推理时也能提前确定

共享 AdaLN 借鉴的是 PixArt-α:一个 MLP 算出所有层共用的调制参数,每层只再加一个自己的偏置 b_l(公式 5),比每层各配一个 AdaLN 省参数。

一个巧妙的细节:历史用 t = 0 调制 ​

共享 AdaLN 被算两次:

  • 用真实的 t 算一次,得到 c_tgt,给未来的 token
  • 用 t = 0 再算一次,得到 c_ctx,给寄存器和历史的 token

论文的理由:历史没有噪声,本来就处在流的“干净数据”那一端,也就是 t = 0。因为 MLP 是共享的、很浅,多算一次几乎不花钱,却让两种角色的 token 各自拿到合适的归一化参数。

3.4:一层 KiT 块 ​

公式 (6)(7) 和标准 DiT 块一样是“调制后的 RMSNorm → 注意力 → 门控残差”,再来一遍换成 SwiGLU:

  • x ← x + α₁ ⊙ Attn(RMSNorm(x) ⊙ (1 + γ₁) + β₁)
  • x ← x + α₂ ⊙ SwiGLU(RMSNorm(x) ⊙ (1 + γ₂) + β₂)

三个值得注意的选择:

  1. 注意力不是因果的。 每个 token,包括未来的,都看整条序列。论文说这让模型能利用“噪声里未来各根之间的依赖”。
  2. RoPE 位置编码 + QK-Norm,为了训练稳定。
  3. 零初始化。 产生门控 α 的输出层和每层偏置 b_l 都初始化为 0,所以训练开始时每个块都是恒等映射,模型输出的速度是 0。这避免了训练初期巨大、无意义的梯度(DiT 原论文的做法)。

证据:附录 E 表 10 ​

只改条件注入,其他不变,平均收益 RankIC:

配置平均收益 RankIC
AdaLN 身份 + 逐根日历(KiT)0.0571
身份只留市场和行业(去掉品种和粒度)0.0386
完全不用身份(c_base = 0)0.0329
不用逐根日历0.0372

三个结论:

  • 身份最重要:全去掉掉得最多,0.0571 → 0.0329。
  • 细粒度的身份有用:只留市场和行业能回到 0.0386,但离 0.0571 还差很远,说明“具体是哪只股票、什么粒度”带着粗粒度身份给不了的信息。
  • 日历也有用:去掉掉到 0.0372。开盘、收盘、节假日前后这些时间结构,既不在身份里,也不能只靠历史学出来。

论文由此得出:每类信号按它自己的粒度注入,整个设计才成立。

考考你为什么“星期几”不像“品种”那样走 AdaLN?

检查一下 ​

  • 我能说出序列里三段各是什么、历史为什么不加噪
  • 我能说出哪些条件走 AdaLN、哪些加到 token,以及理由
  • 我能解释历史为什么用 t = 0 调制
  • 我能用表 10 说明身份和日历各值多少

下一节:精读 3.5 与附录 D:训练目标和双重引导。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。