Skip to content
推理第 3 / 4 节

评估与回测 ​

一张预测图说明不了模型好不好,碰巧准的也有。做完这一节,你能在整段测试期上批量跑预测、算出 RankIC,并跑一次官方回测;也能读懂论文里“RankIC 0.057”和“年化 +65%”各是什么意思。

先弄懂 RankIC:猜排名,不猜价格 ​

假设你每周一要从 5 只股票里挑。你不需要知道每只会涨多少,只需要知道谁比谁强。

周一,模型给 5 只股票的预测收益排了个名;到周五,看实际涨幅的排名。两个排名越像,模型越有用。RankIC 就是这两个排名的相关系数(Spearman 秩相关):

  • 1:排名完全一致
  • 0:和瞎猜一样
  • −1:完全反着

每个锚点算一次,再取平均。

金融数据噪声极大,论文里引用的经验是:股票收益的 IC 很少超过 0.1。所以 0.05 已经是可用的信号,不是“只对了 5%”。

论文的结果 ​

在 2026-01-01 到 2026-04-10 的测试期(官方检查点训练用到 2023 年底、验证用到 2025 年底,没见过这段),七种粒度的平均:

任务KiTKronos-base-FTChronos-Bolt extendedTimesFM 2.5
收益预测 RankIC0.05710.05210.04610.0181
波动率预测 RankIC0.66000.49740.42340.4565

波动率比收益好预测得多:涨跌方向很难猜,但“这只股票接下来会不会剧烈波动”有规律可循。KiT 一次给 16 条路径,波动率就是路径本身的分散程度,这正是生成多条路径的好处。

完整的七种粒度和更多对比模型,见 KiT 的 GitHub 主页。

自己跑:批量预测 → 算指标 ​

bash
python eval/infer_for_eval.py
python eval/cal_metrics.py

第一条把 100 只股票、7 种粒度、测试期里的每个锚点都预测一遍。你应该看到 results/infer_for_eval/raw/ 里陆续出现预测结果文件;中途停了再跑,已经存好的会跳过。第二条算指标:

任务预测值真实值
return16 条路径各自的累计对数收益,取平均真实的累计对数收益
vol16 条路径各自的逐根对数收益标准差,取平均真实的逐根对数收益标准差
price16 条路径相对锚点收盘的累计收益,取平均真实值

全量很费时间,尤其 1 分钟线。先小规模试:

bash
python eval/infer_for_eval.py --scales 1d,1h --max-inst 20
python eval/cal_metrics.py --scales 1d,1h

--max-inst 20 只取前 20 只,--max-anchors N 每种粒度只取前 N 个锚点。有多张显卡,可以开几个进程分别跑 --shard 0/2 和 --shard 1/2。

锚点默认每隔“一个预测窗口”取一个,窗口之间不重叠(--anchor-stride auto)。

回测:把排名变成一个组合 ​

批量预测跑完以后:

bash
python eval/backtest.py
python eval/backtest.py --top 20 --slip 5 --scales 5m,15m,1h

规则(来自官方 README):

排一排回测在每个锚点做什么?按顺序点
  1. 1?
  2. 2?
  3. 3?
  4. 4?

按先后顺序,一个一个点。

还模拟了 A 股的几条限制:

  • 涨停买不进:锚点时已经封涨停(离涨停价 0.5% 以内)或上市不满 5 天的,跳过;跌停卖不出:窗口最后一根跌停的,带到下一个窗口。涨跌停按 10%,300/301/688 开头的按 20%,ST 的 5% 没有模拟。
  • T+1:收盘买、下一个窗口才卖,天然满足。
  • 成本:每边佣金 2.5 个基点、过户费 0.1 个基点,卖出印花税 5 个基点,再加滑点(默认每边 10 个基点)。不考虑一手 100 股和冲击成本。
  • 对比基准:同期 100 只股票等权平均、中位数,以及中证 500(用 akshare 下载一次,缓存在 data/csi500_daily.csv,下载失败就不画)。

结果在 results/backtest_results/。

论文第 4.3 节在 A 股上做了一年(2025.05–2026.04)的只做多回测,持仓数和调仓频率在验证集上选定后固定,成本按买入 12.5、卖出 22.5 个基点:年化净收益 5 分钟线 +65.2%(夏普 1.70)、2 小时线 +64.4%(夏普 2.46),跑赢同股票池等权和中证 300、中证 500。

回测不等于能赚钱

回测是在历史上“假装交易”:不考虑一手 100 股、大单冲击,参数也是在历史上选的。它说明模型的排名有信息量,不说明照着买就能赚到同样的钱。本课内容只用于学习和研究,不构成投资建议。

考考你一个模型的收益 RankIC 是 0.05,这说明什么?

检查一下 ​

  • 我能用“猜排名”的例子解释 RankIC
  • 我知道为什么波动率的 RankIC 比收益高得多
  • 我用 --max-inst 小规模跑过一次评估

下一节:用自己的数据。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。