选干活的 AI,Agent 排行榜怎么看
小周想找个 AI 帮他改代码、跑脚本、整理一堆文件。他打开文字排行榜,挑了第一名。结果聊天时它答得头头是道,一动手干活,却总要他一遍遍纠正。
问题出在他看错了榜。文字榜比的是“哪个回答更讨人喜欢”,而他要的是“哪个能把活干完”。Arena 专门有一个榜看后者:Agent 排行榜。先猜一猜:
考考你2026-11-18 那一期,文字榜第一的 Gemini 4 Carbon (High),在 Agent 总榜上排第几?
Agent 排行榜不靠投票,而是看真实用户让 AI 干活时,活干没干完、要纠正几次、命令出不出错。 2026-11-18 它改了版:总榜改叫 Agent Arena Index,又加了六个分项指数,分数也换了一种刻度。
学完你能做什么
- 说出 Agent 榜和文字榜在打分方式上的根本区别
- 根据自己的用途,挑对要看的分项指数
- 读懂改版后的锚定分数,并知道为什么要另看 Alignment Index
它和文字榜有什么不同
文字榜的做法你已经知道:两个匿名模型各答一次,用户投票。Agent 榜(2026-06-04 上线)完全不同:
- 没有两两投票。 用户在 arena.ai/agent 的 Agent Mode 里做真实的工作,比如写软件、做财务分析。每个会话随机分到一个模型。
- 看过程里的信号。 用户有没有说“完成了”、有没有夸或抱怨、纠正了几次,模型跑的命令有没有出错,这些都被记下来。
- 因为模型是随机分配的,官方把它当成一个随机对照试验来算,叫“因果追踪”(causal tracing),算出每个模型带来的“净提升”。
所以,两个榜的分数完全不能放在一起比。文字榜第一说明“回答最常被选中”,Agent 榜第一说明“干活时整体表现最好”。
- 我能说出 Agent 榜的分数不是来自投票
四个能力信号各测什么
Agent Arena Index 由四个信号平均而来:
| 信号 | 怎么测 | 分数高说明 |
|---|---|---|
| Task Completion(原名 Confirmed Success) | 每轮结束弹窗问用户“Did this complete your task?”,算回答“yes”的比例 | 用户确认活干完了 |
| Praise vs Complaint | 把用户的夸奖和抱怨分别标出来,一个任务里夸多于骂就算成功 | 用户更满意 |
| Steerability | 看用户要纠正多少次;纠正一次后好了算“低”,要再纠正一次算“高” | 不用你一遍遍拉回来 |
| Bash Reliability(原名 Bash Recovery) | 每次命令调用,模型自己造成的错误(比如参数打错、自己写的脚本有 bug)算失败;网络断了这类不算 | 命令很少出错 |
改版时还退役了一个信号:Tool Hallucination(调用根本不存在的工具),理由是前沿模型已经很少犯这个错了。
- 我能说出 Steerability 高是什么意思
按用途挑分项指数
总榜之外,改版后新增了六个分项指数。按你的用途找:
查一查我要用 AI 做什么,该看哪个指数
点一个看看。
新模型往往先上 Agent 榜。比如 GPT-6.2 Astra (Max) 和 GPT-6.2 Sol (Max) 在 11-18 进了 Agent Arena Index、11-19 进了 Coding Index,截至 11-19 还没上文字榜。
- 我找到了和自己用途对应的那个指数
改版后的分数怎么读
旧分数有个毛病:它是“比所有在榜模型的平均水平好多少”。来了一个很强的新模型,平均水平一抬,老模型的分数就会掉,哪怕它自己一点没变。
改版后的分数是旧分数做了一次线性变换:新分数 = 1000 × 旧分数 + Δ。
- 乘 1000 是为了好读:1 分等于这个信号标准差的千分之一。
- Δ 叫“锚”。每次发榜都重新算一次 Δ,让两期都在榜、会话数又多的稳定模型,平均分保持不变。
- 起点设在 2026 年 7 月,那时模型的平均分大约是 1000。
- Δ 对所有模型一样,所以排名和旧算法完全一样,只是分数在不同期之间可以比了。
网页上每个指数都可以展开看组成它的各个信号,也可以切换成原始信号分数,也就是各信号的成功率。
考考你上个月某模型 Agent 分数 1050,这个月来了一个很强的新模型,它自己没有任何变化。按改版后的算法,它的分数会怎样?
- 我知道 Agent 分数和文字榜的分数不是一种刻度
动手:看一眼最新一期的数据
为什么:自己翻一次数据,你就会看到分数、区间和成本是一起出现的。
Arena 把每期榜单都放进了 Hugging Face 上的公开数据集 lmarena-ai/leaderboard-dataset,Agent 总榜在 agent 这个子集里。用浏览器打开下面这个地址就行:
https://datasets-server.huggingface.co/rows?dataset=lmarena-ai/leaderboard-dataset&config=agent&split=latest&offset=0&length=8你应该看到:一段 JSON,rows 里每行一个模型,带 rank、score、score_ci_lower、score_ci_upper(区间)、session_count(会话数)和 cost_per_task_p50(每个任务成本的中位数)。2026-11-18 那一期的前五名:
| 名次 | 模型 | 数据集里的分数(区间) | 会话数 | 每任务成本中位数 |
|---|---|---|---|---|
| 1 | Claude Fable 5.2 (Max) | 0.274(0.245–0.304) | 12,330 | 9.16 |
| 2 | Claude Opus 5.5 (Max) | 0.186(0.166–0.207) | 14,920 | 5.89 |
| 3 | Gemini 4 Neon (High) | 0.184(0.159–0.209) | 5,696 | 2.60 |
| 4 | Gemini 4 Carbon (High) | 0.161(0.154–0.168) | 64,114 | 1.33 |
| 5 | Claude Sonnet 5.5 (Max) | 0.156(0.127–0.185) | 8,912 | 3.40 |
注意两点:
- 数据集里的
score还是旧刻度(没有乘 1000、加 Δ),和网页上的数字不一样,但排名一样。 - 第 2、3 名的区间几乎完全重叠,分不出高下;第 1 名的区间下沿也高过第 2 名的上沿。而第 1 名每个任务的成本中位数大约是第 4 名的 7 倍。要不要多花这笔钱,得看你的活有多难。
- 我自己打开了数据,找到了第一名的区间和成本
Alignment Index:为什么要单独看
能力强,不等于守规矩。Alignment Index 是和总榜并列的另一套指数(2026-10-08 推出,满分 100,越高越好),只看三种出错:
| 信号 | 被标记的情况 |
|---|---|
| Unauthorized Action | 做了用户没要求、或超出权限的事,比如没经允许就删掉或“清理”用户的文件 |
| False Attribution | 把一句话、一个决定或一次批准安到用户头上,但用户给的证据并不支持 |
| Deceptive Completion | 明确说“做完了”或“检查过了”,当时的证据却说明没有 |
推出时比较了 27 个模型、9 万个真实会话,OpenAI 的模型占了前五名。2026-11-17 判定方法又改了:每个会话(包括工具调用)都完整审一遍,由多家实验室的 LLM 裁判分别判断,多数同意才算出错。结果是测出来的失败率普遍升高,官方说排名大体一致。
如果你要让 AI 碰真实文件、真实账户,这个指数和能力指数一样重要。
- 我能说出 Alignment Index 的三种出错
检查点
- 我能说清 Agent 榜的分数来自真实干活的过程,而不是两两投票
- 我能根据用途在 Coding、Work、Chat 等分项指数里挑一个
- 我知道改版后的分数是“1000 × 旧分数 + Δ”,排名不变,不能和文字榜分数比
- 我会同时看区间和每任务成本,不只看名次
- 我知道要让 AI 碰真实文件时,还要看 Alignment Index
常见误会
“文字榜第一,干活也一定最强。” 两个榜测的是两种本事。2026-11-18 那一期,文字榜第一的 Gemini 4 Carbon (High) 在 Agent 总榜排第四。
“分数变了,排名也变了。” 11-18 的改版只是换了刻度,官方明确说不影响排名。真正让排名变的是新模型上榜和新数据。
“能力分高就放心交给它。” 能力指数不管它会不会擅自删文件、谎报完成,这些要看 Alignment Index。
下一节
排行榜之外,模型发布时还会列一排跑分。它们测的是什么?常见跑分在测什么。