Skip to content

Entrenar un KiT pequeño desde cero ​

Al terminar esta sección, tendrás un KiT entrenado por ti mismo (3100, es decir, 31 millones de parámetros, del mismo tamaño que el KiT-S del artículo), con el que podrás generar gráficos de predicción; y verás con tus propios ojos qué significa "cuanto más entrenas, peor resulta".

1. Conseguir el script de entrenamiento ​

El código de entrenamiento oficial aún no se ha publicado. Esta lección escribió una versión mínima que solo usa el código de modelo, características y ventanas ya público en el repositorio, con el objetivo de entrenamiento según el artículo:

Descargar train_mini.py

Colócalo en el directorio KiT (al mismo nivel que eval/). Lo que hace son los cinco pasos de la sección anterior:

python
t = torch.sigmoid(torch.randn(B))                   # logit-normal 抽 t
eps = torch.randn_like(x_tgt)                       # 噪声
z = (1 - t)[:, None, None] * x_tgt + t[:, None, None] * eps
v = model(torch.cat([x_ctx, z], dim=1), t, cond, Lh)  # 历史干净 + 未来加噪
loss = ((v.float() - (eps - x_tgt)) ** 2).mean()    # 只在未来那段

El script tiene solo cuatro funciones, unas 200 líneas:

FunciónQué hace
build_windowsPara cada acción elige aleatoriamente puntos de anclaje, llama al prepare_inference_window oficial para obtener el historial x_ctx y la condición cond, y convierte las Lh velas reales posteriores al punto de anclaje en cinco números, normalizados, como x_tgt. Las ventanas cuyo calendario no cuadra por suspensiones de cotización se descartan
fm_lossLas cinco líneas anteriores: muestrear t, añadir ruido, forward, calcular la pérdida
val_lossCalcula la pérdida en las ventanas de validación con t y ruido de semilla fija, de modo que los valores entre ejecuciones con distintos números de pasos sean directamente comparables
mainAdamW (β=0.9/0.95, weight decay 0.1), recorte de gradientes 1.0, warmup lineal, validación periódica, guarda best.pt y last.pt

Lo que no se hizo (pero sí está en el artículo): dropout de condiciones, truncamiento de historial, mezcla de múltiples mercados y granularidades, FSDP multi-GPU, EMA de parámetros. Estos son justamente buenos ejercicios para practicar; al final de esta sección hay dos.

2. Empezar a entrenar ​

bash
python train_mini.py --scale 1d --steps 3000 --per-stock 60 --batch 32 --eval-every 250 --warmup 100 --lr 3e-4 --out runs/scratch-1d
  • --scale 1d: solo velas diarias
  • El tamaño del modelo proviene de configs/dit_30m.yaml (valores por defecto)
  • Ventanas de entrenamiento: para cada acción se cortan aleatoriamente 60 segmentos entre 2016 y 2025-06-30, en total 6000 segmentos
  • Ventanas de validación: segundo semestre de 2025, 4 segmentos por acción, en total 400 segmentos, sin participar en el entrenamiento

Deberías ver (RTX 4080 SUPER, 227 segundos en total):

text
model 31.0M params (31.0M trainable) | scale 1d Lc=250 Lh=20 | windows train 6000 val 400 (10s)
step 0 | val 3.4190
step 250 | train 2.2832 | val 1.8879 | 19s | peak GPU 4.3 GB
  saved best.pt (val 1.8879)
step 500 | train 1.8537 | val 1.8116 | 38s | peak GPU 4.3 GB
  saved best.pt (val 1.8116)
step 750 | train 1.7955 | val 1.7866 | 57s | peak GPU 4.3 GB
  saved best.pt (val 1.7866)
step 1000 | train 1.7667 | val 1.7995 | 76s | peak GPU 4.3 GB
...
step 3000 | train 1.3409 | val 2.1159 | 227s | peak GPU 4.3 GB
saved runs/scratch-1d/last.pt

train es la media de la pérdida de entrenamiento durante ese período, val es la pérdida en esos 400 segmentos de datos nunca vistos. Cuanto menor el número, mejor.

3. Entender esta curva ​

Arrastra el control deslizante de abajo para ver cada checkpoint:

ArrastraEntrenamiento desde cero: curva de pérdida (registro real)Medido en RTX 4080 SUPER
0 步1500 步3000 步3.51.3
Pérdida de entrenamientoPérdida de validaciónPunto mínimo de validación

第 750 paso, con la pérdida de validación más baja (1.787). train_mini.py guardará best.pt en este momento.

En los primeros 750 pasos ambas líneas bajan juntas: el modelo está aprendiendo algo real. Después, la pérdida de entrenamiento baja hasta 1.34, pero la de validación sube de 1.79 a 2.12: el modelo empieza a memorizar los detalles históricos de estas 100 acciones en lugar de aprender patrones generalizables. Esto se llama sobreajuste.

La razón es simple: las velas diarias de 100 acciones suman 20.6 (206 000 velas), mientras que el artículo usa miles de millones. Pocos datos y un modelo grande llevan a esto. Por eso el script guarda una copia de best.pt cada vez que la pérdida de validación alcanza un nuevo mínimo; el que hay que usar es ese, no el last.pt final.

4. Genera un gráfico de predicción con tu modelo ​

El formato de los checkpoints que guarda el script de entrenamiento es el mismo que el oficial, así que pásalo directamente al script de predicción:

bash
python eval/infer_for_pred.py --ckpt runs/scratch-1d/best.pt --case 300368.SZ,1d,2026-01-05 --out results/mine

Deberías ver:

text
[warn] checkpoint has no ema key, falling back to model weights (step=750)
...
      terminal return actual -18.17%  predicted median -20.77% [q05 -43.96%, q95 +37.47%]  cumulative-return curve corr 0.900  0.4s

La advertencia de la primera línea es normal: no hicimos EMA de parámetros, así que el script usa los pesos del propio modelo.

Compara con la predicción del modelo oficial para el mismo ejemplo (la lección de la primera predicción): el rango era de −37% a −6%. Tu modelo pequeño da un rango de −44% a +37%, mucho más amplio: también cree que va a bajar, pero tiene muy poca confianza en sí mismo. Un solo ejemplo no dice mucho; para comparar en serio, usa el infer_for_eval.py --ckpt y el cal_metrics.py del capítulo anterior para calcular el RankIC en todo el período de prueba.

5. Cómo entrenar mejor ​

  • Más datos: 100 acciones son demasiado pocas. El artículo usa más de 4800 instrumentos, diez años y siete granularidades.
  • Más granularidades: cambia --scale por 1h o 30m y vuelve a entrenar, o modifica el script para que un batch mezcle varias granularidades.
  • Detener antes: en este ejemplo habría que parar hacia los 750 pasos. --steps 1000 es suficiente.
  • Usar los pesos oficiales como punto de partida: eso es el fine-tuning de la siguiente sección.

6. Ejercicio: añade por tu cuenta dos técnicas del artículo ​

Si ya aprendiste PyTorch, los dos cambios siguientes requieren solo unas líneas:

  1. EMA de parámetros. Los pesos de código abierto son precisamente la copia EMA. Mantén una copia de pesos sombra ema = copy.deepcopy(model), y después de cada paso ema_p.lerp_(p, 1 - 0.999); usa ema tanto para validar como para guardar. Al guardar, pon su state_dict() en la clave "ema" del checkpoint; la función de carga oficial la lee con prioridad y la advertencia de no ema key desaparece. El artículo usa 0.9999; para datos pequeños y entrenamientos cortos, 0.999 es más adecuado.
  2. Dropout de condiciones. En fm_loss, con probabilidad del 10% pon cond["inst"] y cond["sector"] en 0 ("desconocido"), con probabilidad del 10% pon a cero el historial x_ctx, y al mismo tiempo pon el pad_mask del segmento histórico en False (consulta make_nohist_cond en kit_v1/infer/sampler.py). En la configuración del artículo corresponden a inst_dropout, allcond_dropout, hist_dropout (0.1, 0.05, 0.1, ver configs/dit_30m.yaml). Solo si se entrena con dropout de condiciones tienen sentido el --cfg-w y el --hist-cfg-w en la inferencia.

Pon a prueba tus conocimientosLa pérdida de entrenamiento sigue bajando y la de validación empieza a subir, ¿qué checkpoint usar?

Comprueba ​

  • He entrenado runs/scratch-1d/best.pt
  • Puedo señalar en la curva a partir de qué paso empieza el sobreajuste
  • He generado un gráfico de predicción con mi propio checkpoint

Siguiente sección: Fine-tuning sobre los pesos oficiales.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.