Skip to content

Evaluación y backtest ​

Un solo gráfico de predicciones no dice si el modelo es bueno; también hay aciertos por casualidad. Al terminar esta sección podrás ejecutar predicciones en lote sobre todo el período de prueba, calcular RankIC y correr un backtest oficial; también entenderás qué significan en el paper "RankIC 0.057" y "anualizado +65%".

Primero entiende RankIC: adivinar el ranking, no el precio ​

Supón que cada lunes debes elegir entre 5 acciones. No necesitas saber cuánto subirá cada una, solo quién es mejor que quién.

El lunes, el modelo ordena los rendimientos predichos de 5 acciones; el viernes, se mira el ranking de las subidas reales. Cuanto más se parecen los dos rankings, más útil es el modelo. RankIC es el coeficiente de correlación entre ambos rankings (correlación de rangos de Spearman):

  • 1: rankings completamente idénticos
  • 0: igual que adivinar al azar
  • −1: completamente invertido

Se calcula una vez por cada punto de anclaje y luego se promedia.

Los datos financieros tienen muchísimo ruido; la experiencia citada en el paper es que el IC de los rendimientos de acciones rara vez supera 0.1. Así que 0.05 ya es una señal utilizable, no un "acertó solo el 5%".

Resultados del paper ​

En el período de prueba de 2026-01-01 a 2026-04-10 (el checkpoint oficial se entrenó hasta finales de 2023 y se validó hasta finales de 2025, nunca vio este tramo), el promedio de las siete granularidades:

TareaKiTKronos-base-FTChronos-Bolt extendedTimesFM 2.5
RankIC de predicción de rendimientos0.05710.05210.04610.0181
RankIC de predicción de volatilidad0.66000.49740.42340.4565

La volatilidad se predice mucho mejor que el rendimiento: la dirección de subida o bajada es difícil de adivinar, pero "si esta acción va a oscilar violentamente pronto" sigue patrones. KiT genera 16 trayectorias a la vez; la volatilidad es la dispersión de las propias trayectorias, y ahí está justamente la ventaja de generar múltiples trayectorias.

Las siete granularidades completas y más modelos de comparación están en la página de GitHub de KiT.

Ejecútalo tú mismo: predicción en lote → cálculo de métricas ​

bash
python eval/infer_for_eval.py
python eval/cal_metrics.py

El primero predice 100 acciones, 7 granularidades y cada punto de anclaje del período de prueba. Deberías ver aparecer archivos de predicción en results/infer_for_eval/raw/ poco a poco; si se interrumpe y se reanuda, lo ya guardado se omite. El segundo calcula las métricas:

TareaValor predichoValor real
returnrendimiento logarítmico acumulado de cada una de las 16 trayectorias, promediadorendimiento logarítmico acumulado real
voldesviación estándar del rendimiento logarítmico barra a barra de cada una de las 16 trayectorias, promediadadesviación estándar real del rendimiento logarítmico barra a barra
pricerendimiento acumulado de cada una de las 16 trayectorias respecto al cierre del punto de anclaje, promediadovalor real

El proceso completo lleva mucho tiempo, sobre todo con velas de 1 minuto. Prueba primero a pequeña escala:

bash
python eval/infer_for_eval.py --scales 1d,1h --max-inst 20
python eval/cal_metrics.py --scales 1d,1h

--max-inst 20 toma solo las primeras 20 acciones, --max-anchors N toma solo los primeros N puntos de anclaje de cada granularidad. Si tienes varias tarjetas gráficas, puedes abrir varios procesos y ejecutar respectivamente --shard 0/2 y --shard 1/2.

Por defecto se toma un punto de anclaje cada "una ventana de predicción", sin solaparse entre ventanas (--anchor-stride auto).

Backtest: convertir el ranking en una cartera ​

Una vez terminada la predicción en lote:

bash
python eval/backtest.py
python eval/backtest.py --top 20 --slip 5 --scales 5m,15m,1h

Reglas (del README oficial):

Ordenar¿Qué hace el backtesting en cada ancla? Haz clic en orden
  1. 1?
  2. 2?
  3. 3?
  4. 4?

Haz clic uno por uno, en orden.

También simula varias restricciones de la bolsa A china:

  • No se puede comprar en límite al alza: si en el punto de anclaje ya está en límite al alza (a menos del 0.5% del precio límite) o cotiza desde hace menos de 5 días, se omite; No se puede vender en límite a la baja: si la última barra de la ventana está en límite a la baja, se arrastra a la siguiente ventana. Los límites son del 10%; las que empiezan por 300/301/688 son del 20%; el 5% de las ST no se simula.
  • T+1: se compra al cierre y se vende en la siguiente ventana, se cumple de forma natural.
  • Costos: comisión de 2.5 puntos básicos por lado, tarifa de transferencia de 0.1 puntos básicos, impuesto de timbre de 5 puntos básicos al vender, más slippage (por defecto 10 puntos básicos por lado). No se consideran los lotes de 100 acciones ni el impacto de mercado.
  • Comparación con referencias: promedio equiponderado y mediana de las 100 acciones del mismo período, además del CSI 500 (se descarga una vez con akshare, se guarda en caché en data/csi500_daily.csv; si falla la descarga, no se dibuja).

Los resultados están en results/backtest_results/.

La sección 4.3 del paper hace un backtest solo largo de un año en la bolsa A china (2025.05–2026.04); el número de posiciones y la frecuencia de rebalanceo se fijaron tras elegirse en el conjunto de validación, con costos de 12.5 puntos básicos al comprar y 22.5 al vender: rendimiento neto anualizado en velas de 5 minutos +65.2% (Sharpe 1.70), en velas de 2 horas +64.4% (Sharpe 2.46), superando al promedio equiponderado del mismo grupo de acciones y al CSI 300 y CSI 500.

Un backtest no equivale a ganar dinero

Un backtest es "fingir operar" sobre la historia: no considera los lotes de 100 acciones ni el impacto de órdenes grandes, y los parámetros también se eligieron sobre la historia. Muestra que el ranking del modelo contiene información, no que comprando igual se gane el mismo dinero. El contenido de esta lección es solo para aprendizaje e investigación, no constituye asesoramiento de inversión.

Pon a prueba tus conocimientosEl RankIC de los rendimientos de un modelo es 0.05, ¿qué significa esto?

Compruébalo ​

  • Puedo explicar RankIC con el ejemplo de "adivinar el ranking"
  • Sé por qué el RankIC de la volatilidad es mucho más alto que el del rendimiento
  • He ejecutado una evaluación a pequeña escala con --max-inst

Siguiente sección: usa tus propios datos.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.