大模型怎么选
先说答案:排行榜用来缩小范围,自己的任务用来做决定,最后再查一遍你买到的是不是那个模型、服务稳不稳。
排行榜第一名不一定适合你。你写合同、改代码、做客服,各自要的东西不一样;榜单上差 10 分,到你的任务上可能看不出差别。反过来,你在评测里选中的模型,通过某个中转 API 调用时,也未必还是它。
这门课按这三步走。
- 1看排行榜
- 2用自己的题
- 3查是不是正品
模型 A
模型 B
模型 C
模型 D
模型 E
模型 F
模型 G
模型 H
模型 I
模型 J
模型 K
模型 L
能用的大模型很多。从哪个开始?点“下一步”。
学完你手里有什么
- 会看 LMArena 排行榜:分数、置信区间、风格控制各是什么意思
- 会看 Agent 排行榜:按用途挑分项指数,再看 Alignment Index
- 知道 MMLU-Pro、GPQA、SWE-bench、HLE 这些跑分各测什么,哪个和你的任务有关
- 一份用自己任务做的评测集,和一张能看出“差距是不是真的”的对比表
- 判断 API 是不是正品的几种方法,以及每种方法查得出什么、查不出什么
- 一张服务商测评清单:同一个模型,挑一家又快又稳的
这门课的四站
| 站 | 课 | 解决什么问题 |
|---|---|---|
| 看排行榜 | LMArena 排行榜怎么看 | 分数和排名是怎么来的 |
| 第一名能坐多久 | 榜首换得有多快 | |
| 排行榜第一就最好吗 | 榜单有哪些已知的偏差 | |
| Agent 排行榜怎么看 | 选写代码、跑任务的 AI 看哪个指数 | |
| 看跑分 | 常见跑分在测什么 | MMLU-Pro、GPQA、SWE-bench、HLE |
| 自己评测 | 做一份自己的评测集 | 用你的真实任务出题 |
| 用 AI 给 AI 打分 | 裁判模型靠不靠谱 | |
| 差几分才算真的差 | 给分数加误差线 | |
| 查正品 | API 会不会被偷换模型 | 偷换是怎么发生的 |
| 怎么验证 API 是不是正品 | 几种检测方法的能力边界 | |
| 同一个模型,不同服务商差在哪 | 延迟、吞吐、稳定性怎么测 | |
| 模型降智是怎么回事 | 变笨了是真的吗,怎么查 |
这一站做什么
- 想清楚你要用模型做的一件具体的事,比如“把会议录音整理成纪要”
- 记下你现在在用或想试的两三个模型
- 打开下一课,看排行榜上它们排在哪里
开始之前要准备的
不需要编程基础。第三站做评测时会用到表格软件;想自动化可以用任何一种脚本语言,但不是必须。
下一步
先学会看排行榜:LMArena 排行榜怎么看。