Skip to content
看跑分第 1 / 1 节

常见跑分在测什么 ​

跑分是一套固定的考题。 模型发布时列出的 MMLU-Pro、GPQA、SWE-bench、HLE,各自出题的方式完全不同。看懂它们测什么,你就知道哪个分数和你有关、哪个可以略过。

学完你能做什么 ​

  • 说出四个常见跑分各测什么
  • 根据自己的任务,挑出值得看的那个分数

四个跑分一张表 ​

跑分测什么题目特点
MMLU-Pro多学科知识和推理多任务选择题滑铁卢大学提出,比原版 MMLU 更难、更稳健
GPQA生物、物理、化学难题448 道选择题,领域专家编写上网也查不到答案
SWE-bench修真实代码仓库的 issue2,294 个,来自 12 个热门 Python 仓库要改代码,跑测试判对错
HLE人类知识前沿的难题2,500 道,数十个学科,含图片题答案明确,但搜不到

MMLU-Pro:知识加推理 ​

MMLU 曾是最常见的知识跑分,但热门模型在它上面已经超过 90% 正确率,分不出高下。MMLU-Pro 是滑铁卢大学提出的更难、更稳健的版本(arXiv 2406.01574)。

论文分析了模型做错的原因:推理错误占 39%,缺少特定知识占 35%,计算错误占 12%。所以它不只是背书,推理占了很大比重。

适合谁看:你的任务是通用问答、知识类助手。

GPQA:上网也查不到的理科题 ​

GPQA 有 448 道生物、物理、化学选择题,全部由领域专家编写。难到什么程度:

  • 相关领域的博士(含在读)正确率 65%,排除他们事后承认的明显失误后是 74%
  • 其他领域的高水平人士,平均每题花 30 分钟以上、随便上网,也只有 34%
  • 论文发表时最强的 GPT-4 基线是 39%

作者把这种题叫作“Google-proof”:搜索帮不上忙。

适合谁看:你的任务需要专业理科推理。

考考你GPQA 里非专家可以随便上网,正确率却只有 34%。这说明什么?

SWE-bench:修真实的 bug ​

SWE-bench 有 2,294 个软件工程问题,来自 12 个热门 Python 仓库的真实 GitHub issue 和对应的修复 PR。模型要读代码库、改代码,让 issue 得到解决。论文发表在 ICLR 2024,当时最好的 Claude 2 只解决了 1.96%。

它和前两个最大的不同:不是选择题,是真的干活。 判对错靠跑仓库自己的测试。

发布表上的 SWE-bench Verified,OpenAI 已经不报了 ​

你在模型发布表里更常看到的是 SWE-bench Verified:OpenAI 和 SWE-bench 团队合作,从原版里清理出来的 500 道题的子集。它曾是衡量编程能力的“北极星”,但前沿模型在它上面普遍报出 80% 左右,之后就几乎不动了。

2026-02-23,参与做 Verified 的 OpenAI 研究员 Mia Glaese 和 Olivia Watkins 在 Latent Space 的访谈里宣布:OpenAI 不再报告 SWE-bench Verified,改推 SWE-bench Pro。理由有两条:

  1. 剩下的题很多根本解不出来。 OpenAI 让更多工程师复查了 138 道有问题的题,发现超过 60% 无解:49 个测试定得太窄,正确的改法也会被判错;26 个测试定得太宽,要求题面里根本没提的功能。
  2. 题目被“背”过了。 题目来自开源仓库,而这些仓库本来就常被拿去训练模型。OpenAI 发现,各家前沿模型只要拿到题号,就能把原始的修复补丁原样写出来。

所以,Verified 上差一两分,已经说明不了谁更会写代码。swebench.com 首页现在仍默认显示 Verified 榜,看到时要知道这个背景。

适合谁看:你要用模型写代码、修 bug、做编程助手。看厂商发布表时,先看清写的是原版、Verified 还是 Pro,以及评测设置是否相同。

HLE:给最强模型出的题 ​

Humanity's Last Exam(HLE)有 2,500 道题,覆盖数十个学科,有选择题也有简答题,包含图片题。每道题答案明确,但不能靠快速搜索得到。

出题的原因:热门跑分上模型已经超过 90%,测不出差距。在 HLE 上,最新模型的正确率和校准(对自己答案有多大把握的判断)都还很低。

适合谁看:你想知道模型在最难问题上的上限。日常任务可以略过这个分数。

  • 我知道四个跑分各测什么

怎么用跑分 ​

考考你你要选一个模型做代码审查助手。最该看哪个跑分?

四条原则:

  1. 只看和你任务相近的跑分。 理科难题分高,不代表写营销文案好
  2. 跑分会饱和。 大家都 90% 以上时,几分的差别意义不大
  3. 跑分会被污染。 题目流进了训练数据,模型可能是“背”出来的,SWE-bench Verified 就是例子
  4. 跑分是别人出的题。 最终要用你自己的题测,见下一站
  • 我知道为什么 SWE-bench Verified 上的高分要打折扣

检查点 ​

  • MMLU-Pro:知识和推理,错误里推理占 39%
  • GPQA:448 道专家理科题,博士 65%,非专家上网也只有 34%
  • SWE-bench:2,294 个真实 issue,要改代码过测试;它的 500 题子集 Verified 已被 OpenAI 弃用(坏测试 + 污染)
  • HLE:2,500 道前沿难题,模型分数还低

常见误会 ​

“跑分越多越高,模型越好。” 跑分之间测的东西差别很大,加起来没有意义。挑和你相关的看。

“跑分是公开的,分数一定可比。” 不同厂商用的提示词、采样次数、是否允许工具都可能不同。对比时看清是不是同一个设置。

下一节 ​

最可靠的跑分是你自己出的题:做一份自己的评测集。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。