Skip to content

Conocimientos previos: del autorregresivo al flow matching ​

Las secciones 1 y 2 del artículo mencionan una larga lista de trabajos anteriores. Al terminar esta sección, podrás clasificarlos en varias categorías, explicar en qué se diferencia KiT de cada una y leer la introducción sin ahogarte entre nombres.

Primera categoría: entrenar un modelo por cada mercado ​

Métodos de deep learning tempranos: LSTM, GRU, o alimentar gráficos de velas a redes convolucionales como si fueran imágenes. El problema es que se entrena un modelo por mercado y por horizonte de predicción; al cambiar de escenario hay que empezar de cero.

Los modelos Transformer posteriores para predicción (iTransformer, PatchTST, TFT) son más potentes en benchmarks generales, y TFT además puede emitir cuantiles para expresar incertidumbre, pero tampoco fueron diseñados para que "un solo modelo cubra todos los mercados".

Segunda categoría: modelos fundacionales de series temporales generales ​

Siguiendo la idea de los grandes modelos de lenguaje: preentrenar un modelo sobre series temporales masivas y de múltiples dominios, listo para usar tal cual. El artículo compara con Chronos, TimesFM y Sundial.

Sus problemas son muy concretos en velas japonesas:

  • Solo miran una curva (normalmente el precio de cierre); desconocen las relaciones entre apertura, máximo, mínimo y cierre (el máximo siempre debe ser ≥ apertura y cierre)
  • Muchos solo dan una predicción (Chronos y TimesFM, en la comparación del artículo, solo producen una trayectoria, K=1), sin distribución de trayectorias

Tercera categoría: el modelo fundacional específico para finanzas Kronos ​

Kronos se preentrena sobre velas de múltiples mercados a gran escala, y es lo más cercano a lo que quiere hacer KiT. El artículo señala dos problemas:

  1. La discretización es con pérdida. Primero usa un cuantizador aprendido para convertir cada vela en tokens discretos (como comprimir colores a 256 colores), y luego lo procesa como un modelo de lenguaje. La cuantización pierde información, y al decodificar puede escupir velas imposibles como "máximo inferior al precio de cierre".
  2. El esquema autorregresivo acumula error. Genera vela a vela, cada una condicionada en las ya generadas. Si la vela 1 se desvía un poco, la 2 se desvía aún más sobre esa base errónea, y cuanto más lejos, peor.
OrdenarPara predecir 3 velas con un modelo autorregresivo, ¿en qué orden hacerlo?
  1. 1?
  2. 2?
  3. 3?

Haz clic uno por uno, en orden.

Cuarta categoría: modelos generativos de difusión ​

La idea de los modelos de difusión: en el entrenamiento se añade ruido a los datos poco a poco hasta convertirlos en ruido puro, y el modelo aprende a "des-hacer el ruido"; al generar, se parte de ruido puro y se elimina el ruido paso a paso hasta obtener una muestra. La generación de imágenes (tipo Stable Diffusion) funciona así.

Aplicados a series temporales están TimeGrad, CSDI, TSDiff, Diffusion-TS y NsDiff; las variantes de flow matching, que sustituyen el proceso estocástico de difusión por trayectorias deterministas de ecuaciones diferenciales ordinarias con muestreo más rápido, incluyen FlowTS y TSFlow; en el ámbito financiero existe DiffSTOCK.

La valoración del artículo: estos métodos se propusieron y probaron en benchmarks pequeños y de un solo dominio; todavía ninguno se ha convertido en un modelo fundacional para los mercados financieros. Ese es el hueco que KiT quiere llenar.

Flow matching: el concepto más importante que hay que entender en esta lección ​

KiT usa el rectified flow, una variante de flow matching. En el capítulo de entrenamiento ya viste las fórmulas; aquí lo vemos desde otro ángulo:

  • Imagina dos montones de puntos: uno son los "futuros 20 velas" reales (los datos), otro es ruido gaussiano estándar.
  • Empareja al azar (un punto de datos, un punto de ruido) y traza entre ellos una línea recta.
  • Entrena una red: dale cualquier punto de la recta y su posición t, y que diga la dirección de la línea (ruido − datos).
  • Una vez aprendido, partiendo de cualquier punto de ruido y avanzando en sentido contrario a la dirección que indica la red, llegas a un punto "parecido a los datos reales".

Comparado con los primeros modelos de difusión, la trayectoria es recta, así que bastan unas decenas de pasos; comparado con el autorregresivo, todo el tramo futuro emerge a la vez desde el ruido, sin que "una vela errónea desvíe a la siguiente".

Pon a prueba tus conocimientos¿Cuáles son las dos mejoras de KiT sobre Kronos que menciona el paper?

Compruébalo ​

  • Puedo clasificar en cuatro categorías los trabajos previos mencionados en el artículo
  • Puedo explicar por qué el esquema autorregresivo acumula error
  • Puedo explicar qué aprende el flow matching usando la idea de "trazar líneas rectas entre dos montones de puntos"

Próxima sección: lectura detallada 3.2: una vela convertida en cinco números.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.