常见跑分在测什么
跑分是一套固定的考题。 模型发布时列出的 MMLU-Pro、GPQA、SWE-bench、HLE,各自出题的方式完全不同。看懂它们测什么,你就知道哪个分数和你有关、哪个可以略过。
学完你能做什么
- 说出四个常见跑分各测什么
- 根据自己的任务,挑出值得看的那个分数
四个跑分一张表
| 跑分 | 测什么 | 题目 | 特点 |
|---|---|---|---|
| MMLU-Pro | 多学科知识和推理 | 多任务选择题 | 滑铁卢大学提出,比原版 MMLU 更难、更稳健 |
| GPQA | 生物、物理、化学难题 | 448 道选择题,领域专家编写 | 上网也查不到答案 |
| SWE-bench | 修真实代码仓库的 issue | 2,294 个,来自 12 个热门 Python 仓库 | 要改代码,跑测试判对错 |
| HLE | 人类知识前沿的难题 | 2,500 道,数十个学科,含图片题 | 答案明确,但搜不到 |
MMLU-Pro:知识加推理
MMLU 曾是最常见的知识跑分,但热门模型在它上面已经超过 90% 正确率,分不出高下。MMLU-Pro 是滑铁卢大学提出的更难、更稳健的版本(arXiv 2406.01574)。
论文分析了模型做错的原因:推理错误占 39%,缺少特定知识占 35%,计算错误占 12%。所以它不只是背书,推理占了很大比重。
适合谁看:你的任务是通用问答、知识类助手。
GPQA:上网也查不到的理科题
GPQA 有 448 道生物、物理、化学选择题,全部由领域专家编写。难到什么程度:
- 相关领域的博士(含在读)正确率 65%,排除他们事后承认的明显失误后是 74%
- 其他领域的高水平人士,平均每题花 30 分钟以上、随便上网,也只有 34%
- 论文发表时最强的 GPT-4 基线是 39%
作者把这种题叫作“Google-proof”:搜索帮不上忙。
适合谁看:你的任务需要专业理科推理。
考考你GPQA 里非专家可以随便上网,正确率却只有 34%。这说明什么?
SWE-bench:修真实的 bug
SWE-bench 有 2,294 个软件工程问题,来自 12 个热门 Python 仓库的真实 GitHub issue 和对应的修复 PR。模型要读代码库、改代码,让 issue 得到解决。论文发表在 ICLR 2024,当时最好的 Claude 2 只解决了 1.96%。
它和前两个最大的不同:不是选择题,是真的干活。 判对错靠跑仓库自己的测试。
发布表上的 SWE-bench Verified,OpenAI 已经不报了
你在模型发布表里更常看到的是 SWE-bench Verified:OpenAI 和 SWE-bench 团队合作,从原版里清理出来的 500 道题的子集。它曾是衡量编程能力的“北极星”,但前沿模型在它上面普遍报出 80% 左右,之后就几乎不动了。
2026-02-23,参与做 Verified 的 OpenAI 研究员 Mia Glaese 和 Olivia Watkins 在 Latent Space 的访谈里宣布:OpenAI 不再报告 SWE-bench Verified,改推 SWE-bench Pro。理由有两条:
- 剩下的题很多根本解不出来。 OpenAI 让更多工程师复查了 138 道有问题的题,发现超过 60% 无解:49 个测试定得太窄,正确的改法也会被判错;26 个测试定得太宽,要求题面里根本没提的功能。
- 题目被“背”过了。 题目来自开源仓库,而这些仓库本来就常被拿去训练模型。OpenAI 发现,各家前沿模型只要拿到题号,就能把原始的修复补丁原样写出来。
所以,Verified 上差一两分,已经说明不了谁更会写代码。swebench.com 首页现在仍默认显示 Verified 榜,看到时要知道这个背景。
适合谁看:你要用模型写代码、修 bug、做编程助手。看厂商发布表时,先看清写的是原版、Verified 还是 Pro,以及评测设置是否相同。
HLE:给最强模型出的题
Humanity's Last Exam(HLE)有 2,500 道题,覆盖数十个学科,有选择题也有简答题,包含图片题。每道题答案明确,但不能靠快速搜索得到。
出题的原因:热门跑分上模型已经超过 90%,测不出差距。在 HLE 上,最新模型的正确率和校准(对自己答案有多大把握的判断)都还很低。
适合谁看:你想知道模型在最难问题上的上限。日常任务可以略过这个分数。
- 我知道四个跑分各测什么
怎么用跑分
考考你你要选一个模型做代码审查助手。最该看哪个跑分?
四条原则:
- 只看和你任务相近的跑分。 理科难题分高,不代表写营销文案好
- 跑分会饱和。 大家都 90% 以上时,几分的差别意义不大
- 跑分会被污染。 题目流进了训练数据,模型可能是“背”出来的,SWE-bench Verified 就是例子
- 跑分是别人出的题。 最终要用你自己的题测,见下一站
- 我知道为什么 SWE-bench Verified 上的高分要打折扣
检查点
- MMLU-Pro:知识和推理,错误里推理占 39%
- GPQA:448 道专家理科题,博士 65%,非专家上网也只有 34%
- SWE-bench:2,294 个真实 issue,要改代码过测试;它的 500 题子集 Verified 已被 OpenAI 弃用(坏测试 + 污染)
- HLE:2,500 道前沿难题,模型分数还低
常见误会
“跑分越多越高,模型越好。” 跑分之间测的东西差别很大,加起来没有意义。挑和你相关的看。
“跑分是公开的,分数一定可比。” 不同厂商用的提示词、采样次数、是否允许工具都可能不同。对比时看清是不是同一个设置。
下一节
最可靠的跑分是你自己出的题:做一份自己的评测集。