Skip to content

Lectura detallada de 3.3–3.4: estructura e inyección de condiciones ​

El capítulo de entrenamiento sobre «arquitectura del modelo» explicó la forma de cada tensor en el código. Esta sección cambia a la perspectiva del paper: el razonamiento detrás de cada diseño y la evidencia aportada por los experimentos de ablación.

Fórmula (4): una sola secuencia ​

text
[ r_1 … r_nr | x_1 … x_Lc | z_1 … z_Lh ]
   Registros       Historial limpio     Futuro con ruido

La explicación del paper para cada segmento:

  • Registros: parámetros aprendibles, que actúan como «punto de agregación de la atención global y agregador de información». No corresponden a ningún momento en el tiempo.
  • Historial: Lc velas limpias, nunca se les añade ruido, y se devuelven sin cambios en la salida (el paper dice bit-identical).
  • Futuro: Lh velas; durante el entrenamiento son las z_t con ruido, y en inferencia son ruido gaussiano puro.

¿Por qué el historial y el futuro se colocan en la misma secuencia, en lugar de usar un codificador que lea el historial y otro decodificador que genere el futuro? La introducción da la respuesta: así la atención es bidireccional en toda la ventana, la información condicional (el historial) se conserva íntegra, y cada vela del futuro puede ver directamente cada vela del historial, así como verse entre sí.

Las condiciones van por dos caminos: la «disciplina de condiciones» del paper ​

Este es el núcleo de la sección 3.3. El paper clasifica todas las condiciones según su «granularidad» en dos tipos, cada uno con un mecanismo distinto:

CondiciónEjemplosCómo entra al modeloRazón
Invariante de ventana (identidad)Mercado, sector, instrumento, granularidad, y el tiempo de flujo tCada uno se embebe y se suman en c_base, que junto con el embedding de t pasa por un MLP superficial (AdaLN compartido) y modula cada capaEs igual para toda la ventana, adecuado como «estilo» global
Variable por vela (calendario)Hora intradía (codificación de Fourier), posición dentro de la sesión de trading, día de la semana, marcadores de eventos, mes, día del añoTras el embedding se suma directamente al token de la vela correspondienteDebe alinearse temporalmente con esa vela; en inferencia también puede determinarse por adelantado

El AdaLN compartido está inspirado en PixArt-α: un MLP calcula los parámetros de modulación comunes a todas las capas, y cada capa solo añade su propio sesgo b_l (fórmula 5), lo que ahorra parámetros frente a dar a cada capa su propio AdaLN.

Un detalle ingenioso: el historial se modula con t = 0 ​

El AdaLN compartido se calcula dos veces:

  • Una vez con el t real, obteniendo c_tgt, para los tokens del futuro
  • Otra vez con t = 0, obteniendo c_ctx, para los tokens de los registros y del historial

El razonamiento del paper: el historial no tiene ruido, de por sí está en el extremo de «datos limpios» del flujo, es decir, t = 0. Como el MLP es compartido y muy superficial, calcularlo una vez más casi no cuesta nada, y permite que los tokens de ambos roles reciban cada uno los parámetros de normalización adecuados.

3.4: un bloque KiT ​

Las fórmulas (6)(7), igual que el bloque DiT estándar, son «RMSNorm modulada → atención → residual con compuerta», y luego otra vez lo mismo pero con SwiGLU:

  • x ← x + α₁ ⊙ Attn(RMSNorm(x) ⊙ (1 + γ₁) + β₁)
  • x ← x + α₂ ⊙ SwiGLU(RMSNorm(x) ⊙ (1 + γ₂) + β₂)

Tres elecciones que vale la pena destacar:

  1. La atención no es causal. Cada token, incluidos los del futuro, ve la secuencia completa. El paper dice que esto permite al modelo aprovechar «las dependencias entre las velas futuras dentro del ruido».
  2. Codificación posicional RoPE + QK-Norm, por estabilidad del entrenamiento.
  3. Inicialización en cero. La capa de salida que genera las compuertas α y el sesgo b_l de cada capa se inicializan en 0, de modo que al comenzar el entrenamiento cada bloque es el mapeo identidad y la velocidad de salida del modelo es 0. Esto evita gradientes enormes y sin sentido al inicio del entrenamiento (la práctica del paper original de DiT).

Evidencia: apéndice E, tabla 10 ​

Cambiando solo la inyección de condiciones, con todo lo demás igual, RankIC del retorno promedio:

ConfiguraciónRankIC del retorno promedio
Identidad por AdaLN + calendario por vela (KiT)0.0571
Identidad solo con mercado y sector (sin instrumento ni granularidad)0.0386
Sin identidad en absoluto (c_base = 0)0.0329
Sin calendario por vela0.0372

Tres conclusiones:

  • La identidad es lo más importante: quitarla por completo es lo que más cae, 0.0571 → 0.0329.
  • La identidad de grano fino es útil: dejando solo mercado y sector se vuelve a 0.0386, pero queda aún muy lejos de 0.0571, lo que indica que «qué acción concreta es y con qué granularidad» aporta información que la identidad de grano grueso no puede dar.
  • El calendario también es útil: al quitarlo cae a 0.0372. Estructuras temporales como apertura, cierre y alrededores de días festivos no están en la identidad, ni pueden aprenderse solo a partir del historial.

El paper concluye: cada tipo de señal se inyecta según su propia granularidad, y solo así todo el diseño se sostiene.

Pon a prueba tus conocimientos¿Por qué “el día de la semana” no va por AdaLN como “el activo”?

Comprueba lo aprendido ​

  • Puedo decir qué es cada uno de los tres segmentos de la secuencia y por qué el historial no recibe ruido
  • Puedo decir qué condiciones pasan por AdaLN y cuáles se suman a los tokens, y por qué
  • Puedo explicar por qué el historial se modula con t = 0
  • Puedo usar la tabla 10 para explicar cuánto vale la identidad y cuánto el calendario

Próxima sección: Lectura detallada de 3.5 y el apéndice D: objetivo de entrenamiento y doble guidance.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.