排行榜第一就一定最好吗
不一定。 排行榜第一说明这个模型在 Arena 的用户、Arena 的问题上最常被选中。研究者发现,这个结果里混着几种和“模型整体更好”无关的因素。看榜可以,但要打折扣。
学完你能做什么
- 说出排行榜的三个已知偏差
- 看到一个新模型突然登顶时,知道该问哪些问题
偏差一:能挑最好的那次成绩
2025 年的论文《The Leaderboard Illusion》(arXiv 2504.20879)发现:Arena 存在未公开的私下测试。少数厂商可以在公开发布前测试多个变体,只公布最好的那个,需要时还能撤回分数。
论文举的极端例子:Llama-4 发布前,Meta 私下测试了 27 个变体。
为什么这会让分数偏高?打个比方:同一个学生考 27 次,只报最高分。每次考试都有运气成分,最高的那次往往比真实水平高。
考考你一家厂商私下提交了 10 个几乎一样的版本,只公开分数最高的。公开的分数会怎样?
- 我能解释“挑最好成绩”为什么会抬高分数
偏差二:有的模型拿到的对战数据多得多
同一篇论文统计了谁的模型被抽中对战更多:闭源模型被抽中的比例更高,被移除得更少。估计 Google 和 OpenAI 分别拿到了全部对战数据的 19.2% 和 20.4%,而 83 个开放权重模型加起来只有大约 29.7%。
对战数据是有价值的:它记录了用户问了什么、更喜欢什么样的回答。拿到更多,就更了解这个榜的“口味”。
偏差三:可以专门为这个榜训练
论文还发现,用 Arena 的数据训练能明显提分:少量额外数据就能在 ArenaHard 上带来最高 112% 的相对提升。作者的结论是:这些因素导致的是对 Arena 特定分布的过拟合,而不是模型整体质量的提升。
也就是说,模型可能学会的是“讨 Arena 用户喜欢”,而不是更会做你的事。
- 我能说出三个偏差各是什么
再加一个:风格
上一课讲过,回答更长、格式更花哨会被更多人选中,Arena 团队自己证实了这一点,所以才推出风格控制。没开风格控制的排名里,这部分加分还在。
看榜时怎么打折扣
| 你看到 | 先问 |
|---|---|
| 新模型刚上榜就第一 | 投票多少?区间多宽?开了风格控制后还是第一吗? |
| 两个模型分数接近 | 区间重叠吗? |
| 某模型榜上很高,你用着一般 | 你的任务和 Arena 的问题像吗? |
最可靠的办法,是用你自己的任务测一遍。这是第三站的内容。
检查点
- 私下测试多个变体、只留最好成绩,会抬高分数
- 对战数据分配不均,闭源大厂拿得多
- 用 Arena 数据训练能刷高 Arena 分数,但不等于整体变好
常见误会
“既然有偏差,排行榜就没用了。” 不是。它仍然是大规模、真人盲测的结果,用来缩小候选范围很好用。只是别把第 1 和第 3 的差距当真。
“开源模型排名低就是不行。” 上面的数字说明,开放权重模型拿到的对战数据少得多,起点就不一样。
下一节
要选的是写代码、跑任务的 AI?还有一个专门的榜:选干活的 AI,Agent 排行榜怎么看。