精读第 4 节:实验怎么读
做完这一节,你能看懂论文的每一张结果表:数据从哪来、怎么切、指标怎么算、“提升 10%”是相对谁,以及哪些比较是公平的。
4.1 数据:三个市场、七种粒度、30 亿根
| 市场 | 品种数 |
|---|---|
| A 股 | 3914 |
| 美股 | 888 |
| 加密货币 | 28 |
| 合计 | 4830 |
时间从 2016 年 8 月 1 日到 2026 年 4 月 10 日。1 分钟线是源数据,其他粒度由它聚合,合计约 30 亿根 K 线。价格都是后复权的。
时间切分:最容易被忽略的一段
| 用途 | 时间 |
|---|---|
| 训练 | 2023-12-31 及以前的全部数据 |
| 验证 | 2024-01-01 到 2025-12-31 |
| 测试 | 2026-01-01 到 2026-04-10 |
金融数据必须按时间切,不能随机切:随机切会让模型在训练时见过测试期前后的数据,等于偷看了未来。另一个细节:标准化统计量(MAD)也只用训练期算,论文专门强调“无泄漏”。
训练什么时候停?各(市场, 粒度)在验证集上的平均损失不再下降就停。
指标:IC 和 RankIC
每个锚点时刻,对所有品种:
- 预测值:16 条路径的平均(收益任务是路径终点的累计对数收益;波动率任务是路径上逐根对数收益的标准差)
- 真实值:实际的累计对数收益、实际的逐根收益标准差
然后在截面上(同一时刻、不同品种之间)算相关:
- IC:皮尔逊相关系数,看数值的线性关系
- RankIC:斯皮尔曼秩相关,只看排名
最后对所有锚点取平均。RankIC 对极端值不敏感,更贴近“挑前 N 只”的实际用法,所以是主指标。
读表 1、表 2
主结果(七种粒度平均):
| 模型 | 收益 RankIC | 收益 IC | 波动率 RankIC | 波动率 IC |
|---|---|---|---|---|
| KiT | 0.0571 | 0.0491 | 0.6600 | 0.6797 |
| 收益上最强的对手 | Kronos-base-FT 0.0521 | TimeGrad 0.0446 | Sundial 0.5281 | GARCH 0.5470 |
论文的相对提升都是“相对最强的那个对手”:
- 收益 RankIC:0.0521 → 0.0571,约 +10%
- 波动率 RankIC:0.5281 → 0.6600,约 +25%
而且两张表里 KiT 在七种粒度的每一种上都是第一,不只是平均值好看。
几个读表时值得注意的点:
- Kronos-base-FT 是微调过的 Kronos,是最公平的对手(同为金融基础模型、也在 K 线上训练过)。
- GARCH 在波动率上很强(0.5222),这个几十年的经典统计模型打败了好几个深度学习基础模型。KiT 超过它,说明不只是“大模型碾压”。
- 基线怎么比的(附录 A.2):对手只拿到收盘价历史(close-only),预测同样长度的未来,同样取路径终点收益和逐根收益标准差。能采样的方法同样用 16 条路径;Chronos 和 TimesFM 的接口只给一条路径(K=1),它们的波动率用那一条路径自身的波动。
附录 B:模型越大越好吗
同样的数据训了三个规模,都训到 5 万步:
| KiT-S(3100 万) | KiT-M(1.01 亿) | KiT-L(2.84 亿) | |
|---|---|---|---|
| 训练损失(最后 1000 步均值) | 1.183 | 1.157 | 1.121 |
| 验证损失(七种粒度平均) | 1.577 | 1.568 | 1.575 |
| 收益 RankIC | 0.0549 | 0.0561 | 0.0571 |
| 收益 IC | 0.0472 | 0.0482 | 0.0491 |
这张表很诚实:
- 训练损失随规模稳定下降,验证损失却几乎一样:大约 3 万步时三条验证曲线就收敛到同一水平了。
- 但下游的 RankIC 每升一级规模提高约 2%(相对),而且还没有饱和。论文称之为“温和的规模定律”。
所以“更大更好”成立,但幅度很小。你在从零训练那节看到验证损失明显回升,是数据只有 100 只股票时的极端情况;论文在 30 亿根数据上描述的是三条验证曲线收敛到相近水平,没有提到那种回升。
考考你为什么金融预测的数据不能随机切分训练集和测试集?
检查一下
- 我能说出训练、验证、测试各是哪段时间
- 我能解释 IC 和 RankIC 的区别,以及为什么主看 RankIC
- 我能说出“+10%”“+25%”是相对谁
- 我能用附录 B 的数字说明规模的作用有多大
下一节:回测、结论,以及读论文时该问的问题。