Skip to content

Lectura detallada de 3.5 y el apéndice D: objetivo de entrenamiento y doble guía ​

Al terminar esta sección, podrás escribir la pérdida de entrenamiento de KiT y la fórmula de guía en inferencia, y podrás mirar la tabla 8 y decir hacia dónde tira cada uno de los dos knobs de guía las 64 trayectorias.

3.1 + 3.5: objetivo de entrenamiento ​

Combinando los preliminares de la sección 3.1 con la sección 3.5, hay solo tres fórmulas:

  • (1) Añadir ruido: z_t = (1 − t) x₀ + t ε
  • (2) Velocidad objetivo: v* = ε − x₀, la pérdida es el error cuadrático medio
  • (8) La versión de KiT: el error cuadrático medio se promedia solo sobre las Lh posiciones futuras; la historia participa en la atención, pero no entra en la pérdida

t se muestrea de una distribución logit-normal: t = σ(N(0, 1)). Esto se tomó prestado del paper de Stable Diffusion 3 (Esser et al., 2024), para concentrar el entrenamiento en los niveles de ruido intermedios. Los detalles del código están en el capítulo de entrenamiento.

Tres tipos de dropout de condiciones: para la guía ​

Durante el entrenamiento se hacen tres tipos de sustitución con cierta probabilidad:

  1. Los embeddings de variedad e industria se sustituyen por un [UNK] compartido ("no lo reconozco")
  2. Todas las señales de identidad (mercado, industria, variedad, granularidad) se sustituyen por [NULL]
  3. Todo el tramo de historia se pone a cero

Así la misma red aprende tres tipos de predicción: con todas las condiciones, sin identidad y sin historia. En la configuración oficial corresponden a inst_dropout, allcond_dropout y hist_dropout.

Fórmula (9): doble classifier-free guidance ​

El classifier-free guidance (CFG) es el knob de inferencia más usado en modelos generativos condicionales. La fórmula (10) del apéndice D es la forma estándar:

v = v∅ + w (v_c − v∅)

w = 1 es simplemente el modelo condicional normal; w > 1 amplifica la diferencia entre "con condición" y "sin condición", las muestras se ajustan más a la condición, pero la diversidad disminuye. En generación de imágenes, subir el CFG hace que la imagen se ajuste más al prompt pero sea más monótona; es el mismo principio.

KiT lo descompone en dos ejes independientes, fórmula (9):

v̂ = v_θ + (w_id − 1)(v_θ − v∅id) + (w_hist − 1)(v_θ − v∅hist)

  • Guía de identidad w_id: amplifica el efecto de "de qué variedad se trata". La identidad de la variedad lleva su "carácter lento": la deriva típica, la volatilidad, la forma de las velas.
  • Guía de historia w_hist: amplifica el efecto de "el tramo reciente de movimiento".

El --cfg-w y el --hist-cfg-w del script de inferencia son estos dos w; el código está en kit_v1/infer/sampler.py, y las tres predicciones se calculan juntas en un solo forward por lotes.

Apéndice D: cada knob tira en una dirección ​

El paper eligió 100 variedades, de cada una muestreó 64 trayectorias desde el mismo ruido inicial, ajustando un solo w a la vez (de 1 a 4), observando tres métricas (cuanto menor, más "ajustado"):

  • Prior gap: qué tan lejos está la volatilidad de las trayectorias de la volatilidad a largo plazo de esa variedad
  • History gap: qué tan lejos está el rendimiento promedio del punto final de las trayectorias del rendimiento del tramo más reciente
  • Spread: el grado de dispersión de los puntos finales de las 64 trayectorias
ArrastraDos guías, cada una tira en una direcciónDatos: Tabla 8, Apéndice D del paper
Distancia a la naturaleza del activo (Prior gap)
0.41
Distancia a la tendencia reciente (History gap)
0.52
Dispersión de trayectorias (Spread)
1.08

w = 1 significa no aplicar guía; el resultado principal del paper usa justamente ese ajuste.

Cómo leerlo:

  • w_id de 1 a 4, Prior gap 0.41 → 0.15, History gap siempre alrededor de 0.5: la guía de identidad solo tira las trayectorias hacia el carácter propio de la variedad.
  • w_hist de 1 a 4, History gap 0.52 → 0.19, Prior gap siempre alrededor de 0.4: la guía de historia solo tira las trayectorias hacia el movimiento reciente.
  • Ambos hacen que el Spread disminuya (1.08 → 0.69 o 0.72): cuanto más ajustado, menos diversas las trayectorias.

¿Y por qué el valor por defecto es 1? El paper también comparó el IC y el RankIC de la predicción de rendimientos: subir el CFG ayuda para algunas variedades (especialmente algunas de alta volatilidad), pero el promedio general casi no cambia. Por eso en los resultados principales ambos w se mantienen en 1, es decir, sin activar la guía.

Este es también el contexto de la nota en la ayuda del script de inferencia que dice "--cfg-w daña la calibración, usar con cuidado": las trayectorias se concentran, la distribución parece más segura de sí misma, pero no necesariamente más precisa.

Pon a prueba tus conocimientosSi quieres que la amplitud de la predicción se parezca más al comportamiento habitual de esta acción, ¿qué debes ajustar?

Compruébalo ​

  • Puedo escribir la pérdida de entrenamiento de KiT y decir sobre qué tramo se calcula únicamente
  • Sé la correspondencia entre los tres tipos de dropout de condiciones y los dos knobs de guía
  • Usando la tabla 8 puedo decir en qué dirección tira cada uno de w_id y w_hist, y por qué ambos valen 1 por defecto

Siguiente sección: Lectura detallada de la sección 4: cómo leer los experimentos.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.