Skip to content
自己评测第 3 / 3 节

差几分才算真的差 ​

看题目有多少。 100 道题、正确率 80% 左右时,分数本身就有大约正负 8 个百分点的波动。A 得 82、B 得 79,这 3 分很可能只是运气。

Anthropic 2024 年的文章《Adding Error Bars to Evals》(arXiv 2411.00640)专门讲了这件事:评测其实是一次实验。你的题目只是从“所有可能的题”里抽出来的一小把,换一把题,分数就会变。

学完你能做什么 ​

  • 用一个公式算出自己评测分数的误差范围
  • 判断两个模型的差距是不是真的
  • 知道怎样用更少的题得到更可靠的结论

行业的老毛病 ​

文章指出,行业习惯是“分数最高就是最好”,把最高分加粗,却不检验差距是否显著。Chatbot Arena 推广了置信区间,但传统问答评测里误差线明显缺失。

你自己的评测别犯这个错。

第 1 步:算误差范围 ​

对错题(每题 0 或 1)的平均分 p,标准误是:

标准误 = √( p × (1 − p) ÷ n )
95% 误差范围 ≈ 正负 1.96 × 标准误

n 是题数。按正确率 80% 算:

题数标准误95% 误差范围
505.7 个百分点约 ±11
1004.0 个百分点约 ±8
4002.0 个百分点约 ±4
10001.3 个百分点约 ±2.5

题数翻 4 倍,误差范围才缩小一半。

拖一拖差几分才算真的差按课文公式实时计算

分不出高下

差 4 个百分点;50 道题时,两个模型差值的误差范围约 ±16.2。 差距落在误差范围里,换一批题,名次可能就反过来。

试试:保持 80% 和 76% 不动,只把题数从 50 拖到 1000。

考考你你用 50 道题测了两个模型,A 正确率 80%,B 76%。能说 A 更好吗?

  • 我算出了自己评测的误差范围

第 2 步:用配对比较缩小误差 ​

上面的公式把两个模型当成各考各的。但你的评测里,两个模型答的是同一批题。这时可以逐题比较:每道题算一次“A 的得分减 B 的得分”。

文章专门讲了配对分析:题目本身的难易会同时影响两个模型,逐题相减能把这部分抵消掉,误差通常比分开算小。

做法:在评测表里加一列“A − B”,每题是 1、0 或 −1,看这一列的平均值和它的误差。

  • 我的评测表里有逐题差值这一列

第 3 步:开放题多答几次 ​

模型每次回答不一样,这也是波动来源。文章列出的减小方差的办法里,包括对同一道题重复采样再取平均。

开放题让每个模型每题答 3 次左右,取平均分,比只答一次更稳。

第 4 步:注意成组的题 ​

如果你的题是成组的,比如同一篇文章出 5 道题,这 5 道题的对错往往一起变。文章把这叫作“成组题目”(clustered),这时真实误差比上面公式算出来的大。

简单处理:把每组当作一道大题,按组数而不是题数估误差。

检查点 ​

  • 误差范围 ≈ ±1.96 × √(p(1−p)/n)
  • 100 道题约 ±8 个百分点,差几分说明不了什么
  • 同一批题用配对比较,误差更小
  • 开放题重复采样,成组题按组算

常见误会 ​

“我的评测题少,但都是精挑细选的,所以可靠。” 精挑细选让题目更贴近任务,但不会减少随机波动。题少,误差就大。

“排行榜上差 1 分也有意义。” 先看它给没给误差范围。Arena 给了置信区间,很多跑分表没给。

下一节 ​

选好了模型,怎么确定你调用的 API 真是它?API 会不会被偷换模型。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。