Skip to content
看排行榜第 1 / 5 节

大模型怎么选 ​

先说答案:排行榜用来缩小范围,自己的任务用来做决定,最后再查一遍你买到的是不是那个模型、服务稳不稳。

排行榜第一名不一定适合你。你写合同、改代码、做客服,各自要的东西不一样;榜单上差 10 分,到你的任务上可能看不出差别。反过来,你在评测里选中的模型,通过某个中转 API 调用时,也未必还是它。

这门课按这三步走。

点一点选模型的三步示意:模型和分数为演示
  1. 1看排行榜
  2. 2用自己的题
  3. 3查是不是正品
模型 A
模型 B
模型 C
模型 D
模型 E
模型 F
模型 G
模型 H
模型 I
模型 J
模型 K
模型 L

能用的大模型很多。从哪个开始?点“下一步”。

学完你手里有什么 ​

  • 会看 LMArena 排行榜:分数、置信区间、风格控制各是什么意思
  • 会看 Agent 排行榜:按用途挑分项指数,再看 Alignment Index
  • 知道 MMLU-Pro、GPQA、SWE-bench、HLE 这些跑分各测什么,哪个和你的任务有关
  • 一份用自己任务做的评测集,和一张能看出“差距是不是真的”的对比表
  • 判断 API 是不是正品的几种方法,以及每种方法查得出什么、查不出什么
  • 一张服务商测评清单:同一个模型,挑一家又快又稳的

这门课的四站 ​

站课解决什么问题
看排行榜LMArena 排行榜怎么看分数和排名是怎么来的
第一名能坐多久榜首换得有多快
排行榜第一就最好吗榜单有哪些已知的偏差
Agent 排行榜怎么看选写代码、跑任务的 AI 看哪个指数
看跑分常见跑分在测什么MMLU-Pro、GPQA、SWE-bench、HLE
自己评测做一份自己的评测集用你的真实任务出题
用 AI 给 AI 打分裁判模型靠不靠谱
差几分才算真的差给分数加误差线
查正品API 会不会被偷换模型偷换是怎么发生的
怎么验证 API 是不是正品几种检测方法的能力边界
同一个模型,不同服务商差在哪延迟、吞吐、稳定性怎么测
模型降智是怎么回事变笨了是真的吗,怎么查

这一站做什么 ​

  • 想清楚你要用模型做的一件具体的事,比如“把会议录音整理成纪要”
  • 记下你现在在用或想试的两三个模型
  • 打开下一课,看排行榜上它们排在哪里

开始之前要准备的 ​

不需要编程基础。第三站做评测时会用到表格软件;想自动化可以用任何一种脚本语言,但不是必须。

下一步 ​

先学会看排行榜:LMArena 排行榜怎么看。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。