Skip to content
看排行榜第 2 / 5 节

LMArena 排行榜怎么看 ​

LMArena 的分数不是考试成绩,是很多人盲选“哪个回答更好”之后算出来的相对强弱。所以看榜要看三样东西:分数、分数的误差范围、这次排名有没有扣掉“回答长、格式花哨”的加分。

学完你能做什么 ​

  • 说清楚 Arena 的分数是怎么来的
  • 看到两个模型分数接近时,判断它们是不是其实分不出高下
  • 知道“风格控制”打开和关闭时,排名为什么会变

分数从哪里来:两两盲测 ​

Arena 原名 Chatbot Arena,现在叫 Arena(arena.ai)。它的做法是:你输入一个问题,两个匿名模型各给一个回答,你投票选更好的那个。投完票才揭晓是谁。

论文发表时,平台已经累计了超过 24 万票。作者检查过:众包来的问题足够多样,投票结果和专家评分高度一致。

有了大量“谁赢了谁”的记录,再用统计模型(论文用的是 Bradley-Terry 模型)换算出每个模型一个分数。分数只有相对意义:它说的是“这个模型在这个人群、这类问题上比那个更常被选中”。

现在 Arena 不只有文字榜,还有 WebDev、Vision、Search、Document、文生图、图片编辑、文生视频等多个竞技场。你要选写代码的模型,就去看 WebDev,而不是总榜;要选能自己跑命令、把活干完的 AI,看 Agent 排行榜。

  • 我能说出 Arena 分数来自什么

分数旁边那个范围更重要 ​

每个分数都是从有限的投票里估出来的,所以有误差。Arena 会给出置信区间,官方数据集里每个模型都有 rating(分数)、rating_lower 和 rating_upper(区间的下沿和上沿),还有 vote_count(投票数)。

这样判断:

情况怎么读
两个模型的区间不重叠排名高的那个大概率真的更受欢迎
两个模型的区间重叠很多分不出高下,排名先后可能只是运气
投票数很少的新模型区间往往更宽,排名还会变
拖一拖投票越多,区间越窄示意:分数和区间宽度为演示值
#1模型 A
1450 ±10.0
#2模型 B
1446 ±10.0

两个区间重叠:分不出谁更强

每个模型约 1000 票。分数只差 4 分,区间还重叠着,“第 1”和“第 2”可能只是运气。

考考你A 模型 1450 分,区间 1440–1460;B 模型 1446 分,区间 1436–1456。哪个更强?

  • 我会先看区间,再看排名

风格控制:把“说得漂亮”和“说得对”分开 ​

人投票时会被回答的样子影响:更长、加了标题和列表的回答,更容易被选中。Arena 团队在 2024 年 8 月 28 日的博客里专门研究了这件事:控制住回答长度和 Markdown 格式的影响后,排名发生了明显变化。他们的原话是:“Style indeed has a strong effect on models’ performance in the leaderboard”(风格确实对模型在榜上的表现有很大影响)。

风格控制的目的是把风格和内容的影响分开。打开它,看到的更接近“内容本身好不好”;关掉它,看到的是“普通用户实际更喜欢谁”。两个都有用,取决于你要什么:

  • 你要给用户直接看回答,比如客服、写作助手:两个榜都看,关掉风格控制的那个更接近真实感受
  • 你要模型给出准确内容,再自己排版:优先看风格控制后的排名

考考你你做一个内部工具,模型输出会被程序解析成表格,格式不重要。该更信哪个排名?

  • 我知道自己该看哪一种排名

检查点 ​

  • Arena 分数来自匿名两两对比的投票,再由统计模型换算
  • 先看置信区间是否重叠,再看排名先后
  • 选专项模型就去看对应的竞技场
  • 风格控制会改变排名,按你的用途选

常见误会 ​

“分数高 10 分就是强 10%。” 分数是相对强弱的刻度,不是百分比,也不能直接换算成“你的任务上好多少”。

“排名第 1 和第 2 差别很大。” 区间重叠时,第 1 和第 2 可能根本分不出来。排名是把连续的分数硬切成整数,会放大小差距。

“总榜第一,写代码也最好。” 总榜混合了各种问题。看你的任务对应的竞技场或分类。

下一节 ​

榜首经常换人。换得多快?下一节用官方历史数据算了一遍:第一名能坐多久。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。