Lectura detallada de 3.5 y el apéndice D: objetivo de entrenamiento y doble guía
Al terminar esta sección, podrás escribir la pérdida de entrenamiento de KiT y la fórmula de guía en inferencia, y podrás mirar la tabla 8 y decir hacia dónde tira cada uno de los dos knobs de guía las 64 trayectorias.
3.1 + 3.5: objetivo de entrenamiento
Combinando los preliminares de la sección 3.1 con la sección 3.5, hay solo tres fórmulas:
- (1) Añadir ruido: z_t = (1 − t) x₀ + t ε
- (2) Velocidad objetivo: v* = ε − x₀, la pérdida es el error cuadrático medio
- (8) La versión de KiT: el error cuadrático medio se promedia solo sobre las Lh posiciones futuras; la historia participa en la atención, pero no entra en la pérdida
t se muestrea de una distribución logit-normal: t = σ(N(0, 1)). Esto se tomó prestado del paper de Stable Diffusion 3 (Esser et al., 2024), para concentrar el entrenamiento en los niveles de ruido intermedios. Los detalles del código están en el capítulo de entrenamiento.
Tres tipos de dropout de condiciones: para la guía
Durante el entrenamiento se hacen tres tipos de sustitución con cierta probabilidad:
- Los embeddings de variedad e industria se sustituyen por un [UNK] compartido ("no lo reconozco")
- Todas las señales de identidad (mercado, industria, variedad, granularidad) se sustituyen por [NULL]
- Todo el tramo de historia se pone a cero
Así la misma red aprende tres tipos de predicción: con todas las condiciones, sin identidad y sin historia. En la configuración oficial corresponden a inst_dropout, allcond_dropout y hist_dropout.
Fórmula (9): doble classifier-free guidance
El classifier-free guidance (CFG) es el knob de inferencia más usado en modelos generativos condicionales. La fórmula (10) del apéndice D es la forma estándar:
v = v∅ + w (v_c − v∅)
w = 1 es simplemente el modelo condicional normal; w > 1 amplifica la diferencia entre "con condición" y "sin condición", las muestras se ajustan más a la condición, pero la diversidad disminuye. En generación de imágenes, subir el CFG hace que la imagen se ajuste más al prompt pero sea más monótona; es el mismo principio.
KiT lo descompone en dos ejes independientes, fórmula (9):
v̂ = v_θ + (w_id − 1)(v_θ − v∅id) + (w_hist − 1)(v_θ − v∅hist)
- Guía de identidad w_id: amplifica el efecto de "de qué variedad se trata". La identidad de la variedad lleva su "carácter lento": la deriva típica, la volatilidad, la forma de las velas.
- Guía de historia w_hist: amplifica el efecto de "el tramo reciente de movimiento".
El --cfg-w y el --hist-cfg-w del script de inferencia son estos dos w; el código está en kit_v1/infer/sampler.py, y las tres predicciones se calculan juntas en un solo forward por lotes.
Apéndice D: cada knob tira en una dirección
El paper eligió 100 variedades, de cada una muestreó 64 trayectorias desde el mismo ruido inicial, ajustando un solo w a la vez (de 1 a 4), observando tres métricas (cuanto menor, más "ajustado"):
- Prior gap: qué tan lejos está la volatilidad de las trayectorias de la volatilidad a largo plazo de esa variedad
- History gap: qué tan lejos está el rendimiento promedio del punto final de las trayectorias del rendimiento del tramo más reciente
- Spread: el grado de dispersión de los puntos finales de las 64 trayectorias
w = 1 significa no aplicar guía; el resultado principal del paper usa justamente ese ajuste.
Cómo leerlo:
- w_id de 1 a 4, Prior gap 0.41 → 0.15, History gap siempre alrededor de 0.5: la guía de identidad solo tira las trayectorias hacia el carácter propio de la variedad.
- w_hist de 1 a 4, History gap 0.52 → 0.19, Prior gap siempre alrededor de 0.4: la guía de historia solo tira las trayectorias hacia el movimiento reciente.
- Ambos hacen que el Spread disminuya (1.08 → 0.69 o 0.72): cuanto más ajustado, menos diversas las trayectorias.
¿Y por qué el valor por defecto es 1? El paper también comparó el IC y el RankIC de la predicción de rendimientos: subir el CFG ayuda para algunas variedades (especialmente algunas de alta volatilidad), pero el promedio general casi no cambia. Por eso en los resultados principales ambos w se mantienen en 1, es decir, sin activar la guía.
Este es también el contexto de la nota en la ayuda del script de inferencia que dice "--cfg-w daña la calibración, usar con cuidado": las trayectorias se concentran, la distribución parece más segura de sí misma, pero no necesariamente más precisa.
Pon a prueba tus conocimientosSi quieres que la amplitud de la predicción se parezca más al comportamiento habitual de esta acción, ¿qué debes ajustar?
Compruébalo
- Puedo escribir la pérdida de entrenamiento de KiT y decir sobre qué tramo se calcula únicamente
- Sé la correspondencia entre los tres tipos de dropout de condiciones y los dos knobs de guía
- Usando la tabla 8 puedo decir en qué dirección tira cada uno de w_id y w_hist, y por qué ambos valen 1 por defecto
Siguiente sección: Lectura detallada de la sección 4: cómo leer los experimentos.