Lectura detallada de 3.3–3.4: estructura e inyección de condiciones
El capítulo de entrenamiento sobre «arquitectura del modelo» explicó la forma de cada tensor en el código. Esta sección cambia a la perspectiva del paper: el razonamiento detrás de cada diseño y la evidencia aportada por los experimentos de ablación.
Fórmula (4): una sola secuencia
[ r_1 … r_nr | x_1 … x_Lc | z_1 … z_Lh ]
Registros Historial limpio Futuro con ruidoLa explicación del paper para cada segmento:
- Registros: parámetros aprendibles, que actúan como «punto de agregación de la atención global y agregador de información». No corresponden a ningún momento en el tiempo.
- Historial: Lc velas limpias, nunca se les añade ruido, y se devuelven sin cambios en la salida (el paper dice bit-identical).
- Futuro: Lh velas; durante el entrenamiento son las z_t con ruido, y en inferencia son ruido gaussiano puro.
¿Por qué el historial y el futuro se colocan en la misma secuencia, en lugar de usar un codificador que lea el historial y otro decodificador que genere el futuro? La introducción da la respuesta: así la atención es bidireccional en toda la ventana, la información condicional (el historial) se conserva íntegra, y cada vela del futuro puede ver directamente cada vela del historial, así como verse entre sí.
Las condiciones van por dos caminos: la «disciplina de condiciones» del paper
Este es el núcleo de la sección 3.3. El paper clasifica todas las condiciones según su «granularidad» en dos tipos, cada uno con un mecanismo distinto:
| Condición | Ejemplos | Cómo entra al modelo | Razón |
|---|---|---|---|
| Invariante de ventana (identidad) | Mercado, sector, instrumento, granularidad, y el tiempo de flujo t | Cada uno se embebe y se suman en c_base, que junto con el embedding de t pasa por un MLP superficial (AdaLN compartido) y modula cada capa | Es igual para toda la ventana, adecuado como «estilo» global |
| Variable por vela (calendario) | Hora intradía (codificación de Fourier), posición dentro de la sesión de trading, día de la semana, marcadores de eventos, mes, día del año | Tras el embedding se suma directamente al token de la vela correspondiente | Debe alinearse temporalmente con esa vela; en inferencia también puede determinarse por adelantado |
El AdaLN compartido está inspirado en PixArt-α: un MLP calcula los parámetros de modulación comunes a todas las capas, y cada capa solo añade su propio sesgo b_l (fórmula 5), lo que ahorra parámetros frente a dar a cada capa su propio AdaLN.
Un detalle ingenioso: el historial se modula con t = 0
El AdaLN compartido se calcula dos veces:
- Una vez con el t real, obteniendo c_tgt, para los tokens del futuro
- Otra vez con t = 0, obteniendo c_ctx, para los tokens de los registros y del historial
El razonamiento del paper: el historial no tiene ruido, de por sí está en el extremo de «datos limpios» del flujo, es decir, t = 0. Como el MLP es compartido y muy superficial, calcularlo una vez más casi no cuesta nada, y permite que los tokens de ambos roles reciban cada uno los parámetros de normalización adecuados.
3.4: un bloque KiT
Las fórmulas (6)(7), igual que el bloque DiT estándar, son «RMSNorm modulada → atención → residual con compuerta», y luego otra vez lo mismo pero con SwiGLU:
- x ← x + α₁ ⊙ Attn(RMSNorm(x) ⊙ (1 + γ₁) + β₁)
- x ← x + α₂ ⊙ SwiGLU(RMSNorm(x) ⊙ (1 + γ₂) + β₂)
Tres elecciones que vale la pena destacar:
- La atención no es causal. Cada token, incluidos los del futuro, ve la secuencia completa. El paper dice que esto permite al modelo aprovechar «las dependencias entre las velas futuras dentro del ruido».
- Codificación posicional RoPE + QK-Norm, por estabilidad del entrenamiento.
- Inicialización en cero. La capa de salida que genera las compuertas α y el sesgo b_l de cada capa se inicializan en 0, de modo que al comenzar el entrenamiento cada bloque es el mapeo identidad y la velocidad de salida del modelo es 0. Esto evita gradientes enormes y sin sentido al inicio del entrenamiento (la práctica del paper original de DiT).
Evidencia: apéndice E, tabla 10
Cambiando solo la inyección de condiciones, con todo lo demás igual, RankIC del retorno promedio:
| Configuración | RankIC del retorno promedio |
|---|---|
| Identidad por AdaLN + calendario por vela (KiT) | 0.0571 |
| Identidad solo con mercado y sector (sin instrumento ni granularidad) | 0.0386 |
| Sin identidad en absoluto (c_base = 0) | 0.0329 |
| Sin calendario por vela | 0.0372 |
Tres conclusiones:
- La identidad es lo más importante: quitarla por completo es lo que más cae, 0.0571 → 0.0329.
- La identidad de grano fino es útil: dejando solo mercado y sector se vuelve a 0.0386, pero queda aún muy lejos de 0.0571, lo que indica que «qué acción concreta es y con qué granularidad» aporta información que la identidad de grano grueso no puede dar.
- El calendario también es útil: al quitarlo cae a 0.0372. Estructuras temporales como apertura, cierre y alrededores de días festivos no están en la identidad, ni pueden aprenderse solo a partir del historial.
El paper concluye: cada tipo de señal se inyecta según su propia granularidad, y solo así todo el diseño se sostiene.
Pon a prueba tus conocimientos¿Por qué “el día de la semana” no va por AdaLN como “el activo”?
Comprueba lo aprendido
- Puedo decir qué es cada uno de los tres segmentos de la secuencia y por qué el historial no recibe ruido
- Puedo decir qué condiciones pasan por AdaLN y cuáles se suman a los tokens, y por qué
- Puedo explicar por qué el historial se modula con t = 0
- Puedo usar la tabla 10 para explicar cuánto vale la identidad y cuánto el calendario
Próxima sección: Lectura detallada de 3.5 y el apéndice D: objetivo de entrenamiento y doble guidance.