评估与回测
一张预测图说明不了模型好不好,碰巧准的也有。做完这一节,你能在整段测试期上批量跑预测、算出 RankIC,并跑一次官方回测;也能读懂论文里“RankIC 0.057”和“年化 +65%”各是什么意思。
先弄懂 RankIC:猜排名,不猜价格
假设你每周一要从 5 只股票里挑。你不需要知道每只会涨多少,只需要知道谁比谁强。
周一,模型给 5 只股票的预测收益排了个名;到周五,看实际涨幅的排名。两个排名越像,模型越有用。RankIC 就是这两个排名的相关系数(Spearman 秩相关):
- 1:排名完全一致
- 0:和瞎猜一样
- −1:完全反着
每个锚点算一次,再取平均。
金融数据噪声极大,论文里引用的经验是:股票收益的 IC 很少超过 0.1。所以 0.05 已经是可用的信号,不是“只对了 5%”。
论文的结果
在 2026-01-01 到 2026-04-10 的测试期(官方检查点训练用到 2023 年底、验证用到 2025 年底,没见过这段),七种粒度的平均:
| 任务 | KiT | Kronos-base-FT | Chronos-Bolt extended | TimesFM 2.5 |
|---|---|---|---|---|
| 收益预测 RankIC | 0.0571 | 0.0521 | 0.0461 | 0.0181 |
| 波动率预测 RankIC | 0.6600 | 0.4974 | 0.4234 | 0.4565 |
波动率比收益好预测得多:涨跌方向很难猜,但“这只股票接下来会不会剧烈波动”有规律可循。KiT 一次给 16 条路径,波动率就是路径本身的分散程度,这正是生成多条路径的好处。
完整的七种粒度和更多对比模型,见 KiT 的 GitHub 主页。
自己跑:批量预测 → 算指标
python eval/infer_for_eval.py
python eval/cal_metrics.py第一条把 100 只股票、7 种粒度、测试期里的每个锚点都预测一遍。你应该看到 results/infer_for_eval/raw/ 里陆续出现预测结果文件;中途停了再跑,已经存好的会跳过。第二条算指标:
| 任务 | 预测值 | 真实值 |
|---|---|---|
| return | 16 条路径各自的累计对数收益,取平均 | 真实的累计对数收益 |
| vol | 16 条路径各自的逐根对数收益标准差,取平均 | 真实的逐根对数收益标准差 |
| price | 16 条路径相对锚点收盘的累计收益,取平均 | 真实值 |
全量很费时间,尤其 1 分钟线。先小规模试:
python eval/infer_for_eval.py --scales 1d,1h --max-inst 20
python eval/cal_metrics.py --scales 1d,1h--max-inst 20 只取前 20 只,--max-anchors N 每种粒度只取前 N 个锚点。有多张显卡,可以开几个进程分别跑 --shard 0/2 和 --shard 1/2。
锚点默认每隔“一个预测窗口”取一个,窗口之间不重叠(--anchor-stride auto)。
回测:把排名变成一个组合
批量预测跑完以后:
python eval/backtest.py
python eval/backtest.py --top 20 --slip 5 --scales 5m,15m,1h规则(来自官方 README):
- 1?
- 2?
- 3?
- 4?
按先后顺序,一个一个点。
还模拟了 A 股的几条限制:
- 涨停买不进:锚点时已经封涨停(离涨停价 0.5% 以内)或上市不满 5 天的,跳过;跌停卖不出:窗口最后一根跌停的,带到下一个窗口。涨跌停按 10%,300/301/688 开头的按 20%,ST 的 5% 没有模拟。
- T+1:收盘买、下一个窗口才卖,天然满足。
- 成本:每边佣金 2.5 个基点、过户费 0.1 个基点,卖出印花税 5 个基点,再加滑点(默认每边 10 个基点)。不考虑一手 100 股和冲击成本。
- 对比基准:同期 100 只股票等权平均、中位数,以及中证 500(用 akshare 下载一次,缓存在
data/csi500_daily.csv,下载失败就不画)。
结果在 results/backtest_results/。
论文第 4.3 节在 A 股上做了一年(2025.05–2026.04)的只做多回测,持仓数和调仓频率在验证集上选定后固定,成本按买入 12.5、卖出 22.5 个基点:年化净收益 5 分钟线 +65.2%(夏普 1.70)、2 小时线 +64.4%(夏普 2.46),跑赢同股票池等权和中证 300、中证 500。
回测不等于能赚钱
回测是在历史上“假装交易”:不考虑一手 100 股、大单冲击,参数也是在历史上选的。它说明模型的排名有信息量,不说明照着买就能赚到同样的钱。本课内容只用于学习和研究,不构成投资建议。
考考你一个模型的收益 RankIC 是 0.05,这说明什么?
检查一下
- 我能用“猜排名”的例子解释 RankIC
- 我知道为什么波动率的 RankIC 比收益高得多
- 我用
--max-inst小规模跑过一次评估
下一节:用自己的数据。