LMArena 排行榜怎么看
LMArena 的分数不是考试成绩,是很多人盲选“哪个回答更好”之后算出来的相对强弱。所以看榜要看三样东西:分数、分数的误差范围、这次排名有没有扣掉“回答长、格式花哨”的加分。
学完你能做什么
- 说清楚 Arena 的分数是怎么来的
- 看到两个模型分数接近时,判断它们是不是其实分不出高下
- 知道“风格控制”打开和关闭时,排名为什么会变
分数从哪里来:两两盲测
Arena 原名 Chatbot Arena,现在叫 Arena(arena.ai)。它的做法是:你输入一个问题,两个匿名模型各给一个回答,你投票选更好的那个。投完票才揭晓是谁。
论文发表时,平台已经累计了超过 24 万票。作者检查过:众包来的问题足够多样,投票结果和专家评分高度一致。
有了大量“谁赢了谁”的记录,再用统计模型(论文用的是 Bradley-Terry 模型)换算出每个模型一个分数。分数只有相对意义:它说的是“这个模型在这个人群、这类问题上比那个更常被选中”。
现在 Arena 不只有文字榜,还有 WebDev、Vision、Search、Document、文生图、图片编辑、文生视频等多个竞技场。你要选写代码的模型,就去看 WebDev,而不是总榜;要选能自己跑命令、把活干完的 AI,看 Agent 排行榜。
- 我能说出 Arena 分数来自什么
分数旁边那个范围更重要
每个分数都是从有限的投票里估出来的,所以有误差。Arena 会给出置信区间,官方数据集里每个模型都有 rating(分数)、rating_lower 和 rating_upper(区间的下沿和上沿),还有 vote_count(投票数)。
这样判断:
| 情况 | 怎么读 |
|---|---|
| 两个模型的区间不重叠 | 排名高的那个大概率真的更受欢迎 |
| 两个模型的区间重叠很多 | 分不出高下,排名先后可能只是运气 |
| 投票数很少的新模型 | 区间往往更宽,排名还会变 |
两个区间重叠:分不出谁更强
每个模型约 1000 票。分数只差 4 分,区间还重叠着,“第 1”和“第 2”可能只是运气。
考考你A 模型 1450 分,区间 1440–1460;B 模型 1446 分,区间 1436–1456。哪个更强?
- 我会先看区间,再看排名
风格控制:把“说得漂亮”和“说得对”分开
人投票时会被回答的样子影响:更长、加了标题和列表的回答,更容易被选中。Arena 团队在 2024 年 8 月 28 日的博客里专门研究了这件事:控制住回答长度和 Markdown 格式的影响后,排名发生了明显变化。他们的原话是:“Style indeed has a strong effect on models’ performance in the leaderboard”(风格确实对模型在榜上的表现有很大影响)。
风格控制的目的是把风格和内容的影响分开。打开它,看到的更接近“内容本身好不好”;关掉它,看到的是“普通用户实际更喜欢谁”。两个都有用,取决于你要什么:
- 你要给用户直接看回答,比如客服、写作助手:两个榜都看,关掉风格控制的那个更接近真实感受
- 你要模型给出准确内容,再自己排版:优先看风格控制后的排名
考考你你做一个内部工具,模型输出会被程序解析成表格,格式不重要。该更信哪个排名?
- 我知道自己该看哪一种排名
检查点
- Arena 分数来自匿名两两对比的投票,再由统计模型换算
- 先看置信区间是否重叠,再看排名先后
- 选专项模型就去看对应的竞技场
- 风格控制会改变排名,按你的用途选
常见误会
“分数高 10 分就是强 10%。” 分数是相对强弱的刻度,不是百分比,也不能直接换算成“你的任务上好多少”。
“排名第 1 和第 2 差别很大。” 区间重叠时,第 1 和第 2 可能根本分不出来。排名是把连续的分数硬切成整数,会放大小差距。
“总榜第一,写代码也最好。” 总榜混合了各种问题。看你的任务对应的竞技场或分类。
下一节
榜首经常换人。换得多快?下一节用官方历史数据算了一遍:第一名能坐多久。