Skip to content
看排行榜第 4 / 5 节

排行榜第一就一定最好吗 ​

不一定。 排行榜第一说明这个模型在 Arena 的用户、Arena 的问题上最常被选中。研究者发现,这个结果里混着几种和“模型整体更好”无关的因素。看榜可以,但要打折扣。

学完你能做什么 ​

  • 说出排行榜的三个已知偏差
  • 看到一个新模型突然登顶时,知道该问哪些问题

偏差一:能挑最好的那次成绩 ​

2025 年的论文《The Leaderboard Illusion》(arXiv 2504.20879)发现:Arena 存在未公开的私下测试。少数厂商可以在公开发布前测试多个变体,只公布最好的那个,需要时还能撤回分数。

论文举的极端例子:Llama-4 发布前,Meta 私下测试了 27 个变体。

为什么这会让分数偏高?打个比方:同一个学生考 27 次,只报最高分。每次考试都有运气成分,最高的那次往往比真实水平高。

考考你一家厂商私下提交了 10 个几乎一样的版本,只公开分数最高的。公开的分数会怎样?

  • 我能解释“挑最好成绩”为什么会抬高分数

偏差二:有的模型拿到的对战数据多得多 ​

同一篇论文统计了谁的模型被抽中对战更多:闭源模型被抽中的比例更高,被移除得更少。估计 Google 和 OpenAI 分别拿到了全部对战数据的 19.2% 和 20.4%,而 83 个开放权重模型加起来只有大约 29.7%。

对战数据是有价值的:它记录了用户问了什么、更喜欢什么样的回答。拿到更多,就更了解这个榜的“口味”。

偏差三:可以专门为这个榜训练 ​

论文还发现,用 Arena 的数据训练能明显提分:少量额外数据就能在 ArenaHard 上带来最高 112% 的相对提升。作者的结论是:这些因素导致的是对 Arena 特定分布的过拟合,而不是模型整体质量的提升。

也就是说,模型可能学会的是“讨 Arena 用户喜欢”,而不是更会做你的事。

  • 我能说出三个偏差各是什么

再加一个:风格 ​

上一课讲过,回答更长、格式更花哨会被更多人选中,Arena 团队自己证实了这一点,所以才推出风格控制。没开风格控制的排名里,这部分加分还在。

看榜时怎么打折扣 ​

你看到先问
新模型刚上榜就第一投票多少?区间多宽?开了风格控制后还是第一吗?
两个模型分数接近区间重叠吗?
某模型榜上很高,你用着一般你的任务和 Arena 的问题像吗?

最可靠的办法,是用你自己的任务测一遍。这是第三站的内容。

检查点 ​

  • 私下测试多个变体、只留最好成绩,会抬高分数
  • 对战数据分配不均,闭源大厂拿得多
  • 用 Arena 数据训练能刷高 Arena 分数,但不等于整体变好

常见误会 ​

“既然有偏差,排行榜就没用了。” 不是。它仍然是大规模、真人盲测的结果,用来缩小候选范围很好用。只是别把第 1 和第 3 的差距当真。

“开源模型排名低就是不行。” 上面的数字说明,开放权重模型拿到的对战数据少得多,起点就不一样。

下一节 ​

要选的是写代码、跑任务的 AI?还有一个专门的榜:选干活的 AI,Agent 排行榜怎么看。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。