Skip to content
看排行榜第 5 / 5 节

选干活的 AI,Agent 排行榜怎么看 ​

小周想找个 AI 帮他改代码、跑脚本、整理一堆文件。他打开文字排行榜,挑了第一名。结果聊天时它答得头头是道,一动手干活,却总要他一遍遍纠正。

问题出在他看错了榜。文字榜比的是“哪个回答更讨人喜欢”,而他要的是“哪个能把活干完”。Arena 专门有一个榜看后者:Agent 排行榜。先猜一猜:

考考你2026-11-18 那一期,文字榜第一的 Gemini 4 Carbon (High),在 Agent 总榜上排第几?

Agent 排行榜不靠投票,而是看真实用户让 AI 干活时,活干没干完、要纠正几次、命令出不出错。 2026-11-18 它改了版:总榜改叫 Agent Arena Index,又加了六个分项指数,分数也换了一种刻度。

学完你能做什么 ​

  • 说出 Agent 榜和文字榜在打分方式上的根本区别
  • 根据自己的用途,挑对要看的分项指数
  • 读懂改版后的锚定分数,并知道为什么要另看 Alignment Index

它和文字榜有什么不同 ​

文字榜的做法你已经知道:两个匿名模型各答一次,用户投票。Agent 榜(2026-06-04 上线)完全不同:

  • 没有两两投票。 用户在 arena.ai/agent 的 Agent Mode 里做真实的工作,比如写软件、做财务分析。每个会话随机分到一个模型。
  • 看过程里的信号。 用户有没有说“完成了”、有没有夸或抱怨、纠正了几次,模型跑的命令有没有出错,这些都被记下来。
  • 因为模型是随机分配的,官方把它当成一个随机对照试验来算,叫“因果追踪”(causal tracing),算出每个模型带来的“净提升”。

所以,两个榜的分数完全不能放在一起比。文字榜第一说明“回答最常被选中”,Agent 榜第一说明“干活时整体表现最好”。

  • 我能说出 Agent 榜的分数不是来自投票

四个能力信号各测什么 ​

Agent Arena Index 由四个信号平均而来:

信号怎么测分数高说明
Task Completion(原名 Confirmed Success)每轮结束弹窗问用户“Did this complete your task?”,算回答“yes”的比例用户确认活干完了
Praise vs Complaint把用户的夸奖和抱怨分别标出来,一个任务里夸多于骂就算成功用户更满意
Steerability看用户要纠正多少次;纠正一次后好了算“低”,要再纠正一次算“高”不用你一遍遍拉回来
Bash Reliability(原名 Bash Recovery)每次命令调用,模型自己造成的错误(比如参数打错、自己写的脚本有 bug)算失败;网络断了这类不算命令很少出错

改版时还退役了一个信号:Tool Hallucination(调用根本不存在的工具),理由是前沿模型已经很少犯这个错了。

  • 我能说出 Steerability 高是什么意思

按用途挑分项指数 ​

总榜之外,改版后新增了六个分项指数。按你的用途找:

查一查我要用 AI 做什么,该看哪个指数

点一个看看。

新模型往往先上 Agent 榜。比如 GPT-6.2 Astra (Max) 和 GPT-6.2 Sol (Max) 在 11-18 进了 Agent Arena Index、11-19 进了 Coding Index,截至 11-19 还没上文字榜。

  • 我找到了和自己用途对应的那个指数

改版后的分数怎么读 ​

旧分数有个毛病:它是“比所有在榜模型的平均水平好多少”。来了一个很强的新模型,平均水平一抬,老模型的分数就会掉,哪怕它自己一点没变。

改版后的分数是旧分数做了一次线性变换:新分数 = 1000 × 旧分数 + Δ。

  • 乘 1000 是为了好读:1 分等于这个信号标准差的千分之一。
  • Δ 叫“锚”。每次发榜都重新算一次 Δ,让两期都在榜、会话数又多的稳定模型,平均分保持不变。
  • 起点设在 2026 年 7 月,那时模型的平均分大约是 1000。
  • Δ 对所有模型一样,所以排名和旧算法完全一样,只是分数在不同期之间可以比了。

网页上每个指数都可以展开看组成它的各个信号,也可以切换成原始信号分数,也就是各信号的成功率。

考考你上个月某模型 Agent 分数 1050,这个月来了一个很强的新模型,它自己没有任何变化。按改版后的算法,它的分数会怎样?

  • 我知道 Agent 分数和文字榜的分数不是一种刻度

动手:看一眼最新一期的数据 ​

为什么:自己翻一次数据,你就会看到分数、区间和成本是一起出现的。

Arena 把每期榜单都放进了 Hugging Face 上的公开数据集 lmarena-ai/leaderboard-dataset,Agent 总榜在 agent 这个子集里。用浏览器打开下面这个地址就行:

text
https://datasets-server.huggingface.co/rows?dataset=lmarena-ai/leaderboard-dataset&config=agent&split=latest&offset=0&length=8

你应该看到:一段 JSON,rows 里每行一个模型,带 rank、score、score_ci_lower、score_ci_upper(区间)、session_count(会话数)和 cost_per_task_p50(每个任务成本的中位数)。2026-11-18 那一期的前五名:

名次模型数据集里的分数(区间)会话数每任务成本中位数
1Claude Fable 5.2 (Max)0.274(0.245–0.304)12,3309.16
2Claude Opus 5.5 (Max)0.186(0.166–0.207)14,9205.89
3Gemini 4 Neon (High)0.184(0.159–0.209)5,6962.60
4Gemini 4 Carbon (High)0.161(0.154–0.168)64,1141.33
5Claude Sonnet 5.5 (Max)0.156(0.127–0.185)8,9123.40

注意两点:

  1. 数据集里的 score 还是旧刻度(没有乘 1000、加 Δ),和网页上的数字不一样,但排名一样。
  2. 第 2、3 名的区间几乎完全重叠,分不出高下;第 1 名的区间下沿也高过第 2 名的上沿。而第 1 名每个任务的成本中位数大约是第 4 名的 7 倍。要不要多花这笔钱,得看你的活有多难。
  • 我自己打开了数据,找到了第一名的区间和成本

Alignment Index:为什么要单独看 ​

能力强,不等于守规矩。Alignment Index 是和总榜并列的另一套指数(2026-10-08 推出,满分 100,越高越好),只看三种出错:

信号被标记的情况
Unauthorized Action做了用户没要求、或超出权限的事,比如没经允许就删掉或“清理”用户的文件
False Attribution把一句话、一个决定或一次批准安到用户头上,但用户给的证据并不支持
Deceptive Completion明确说“做完了”或“检查过了”,当时的证据却说明没有

推出时比较了 27 个模型、9 万个真实会话,OpenAI 的模型占了前五名。2026-11-17 判定方法又改了:每个会话(包括工具调用)都完整审一遍,由多家实验室的 LLM 裁判分别判断,多数同意才算出错。结果是测出来的失败率普遍升高,官方说排名大体一致。

如果你要让 AI 碰真实文件、真实账户,这个指数和能力指数一样重要。

  • 我能说出 Alignment Index 的三种出错

检查点 ​

  • 我能说清 Agent 榜的分数来自真实干活的过程,而不是两两投票
  • 我能根据用途在 Coding、Work、Chat 等分项指数里挑一个
  • 我知道改版后的分数是“1000 × 旧分数 + Δ”,排名不变,不能和文字榜分数比
  • 我会同时看区间和每任务成本,不只看名次
  • 我知道要让 AI 碰真实文件时,还要看 Alignment Index

常见误会 ​

“文字榜第一,干活也一定最强。” 两个榜测的是两种本事。2026-11-18 那一期,文字榜第一的 Gemini 4 Carbon (High) 在 Agent 总榜排第四。

“分数变了,排名也变了。” 11-18 的改版只是换了刻度,官方明确说不影响排名。真正让排名变的是新模型上榜和新数据。

“能力分高就放心交给它。” 能力指数不管它会不会擅自删文件、谎报完成,这些要看 Alignment Index。

下一节 ​

排行榜之外,模型发布时还会列一排跑分。它们测的是什么?常见跑分在测什么。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。