做一份自己的评测集
拿你真实要做的事出题,每个候选模型用同样的设置各答一遍,按事先定好的标准打分。 这比任何排行榜都更接近你的实际体验。做完这一节,你会有一张表:几十道题、几个模型、每格一个分数。
开始之前
- 一件具体的任务,比如“把客户邮件分类”“把会议记录写成纪要”
- 两到三个候选模型,都能调用
- 一个表格软件
第 1 步:从真实工作里挑题
不要自己编题。翻你过去的工作记录,把真实出现过的输入拿出来:客户邮件、会议记录、报错信息。
挑题时照顾三类:
| 类型 | 占比建议 | 为什么 |
|---|---|---|
| 常见的 | 大多数 | 决定日常体验 |
| 难的、边界的 | 一部分 | 拉开模型差距 |
| 曾经出过错的 | 几道 | 你最在意的失败 |
题目数量先从 30 到 50 道开始。第三课会讲为什么题太少比不出差别。
你应该得到:一份题目清单,每道题是一段真实输入。
- 我挑出了至少 30 道真实题目
第 2 步:事先写清“什么算对”
先写标准,再看答案。看过答案再定标准,你会不自觉地偏向喜欢的那个。
按任务类型选打分方式:
| 任务 | 打分方式 |
|---|---|
| 分类、抽取、有标准答案 | 和标准答案比对,对就 1、错就 0 |
| 写代码 | 跑测试,过了就对 |
| 写作、总结、开放回答 | 列 3 到 5 条检查项,比如“没漏掉决议”“没编造数字”,满足几条得几分 |
考考你你先让两个模型各写一份纪要,读完觉得 A 更好,再据此定了评分标准。问题在哪?
- 每道题都有事先写好的判对标准
第 3 步:用同样的设置跑每个模型
每个模型要在同样的条件下答题,否则比的不是模型:
- 同样的提示词,同样的系统提示
- 同样的温度等参数
- 每道题都放在新对话里,避免前面的内容影响后面
开放类任务,同一道题可以让每个模型答几次。模型每次的回答会不一样,答几次能看出它稳不稳。
你应该得到:每道题、每个模型至少一份回答。
- 所有模型用的是同一份提示词和参数
第 4 步:盲评打分,记进一张表
打分时把模型名遮住,只看回答。可以让同事帮你打乱顺序。
表的样子:
| 题号 | 类型 | 模型 A | 模型 B | 模型 C |
|---|---|---|---|---|
| 1 | 常见 | 1 | 1 | 0 |
| 2 | 难 | 0 | 1 | 0 |
| … | ||||
| 平均 |
再加两列你在意的:每题花了多少钱、等了多久。最好的模型不一定划算。
- 我有一张题目 × 模型的分数表
检查点
- 题目来自真实工作,包含常见的、难的、出过错的
- 判对标准在看答案之前写好
- 每个模型的提示词和参数完全一样
- 打分时看不到模型名
没成功?
分数都差不多。 题太简单或太少。多加难题,把题量加到能比出差别,见差几分才算真的差。
开放题打分太累。 先人工打十几道,再试试让 AI 帮忙打分,下一节讲它的坑。
下一节
开放题人工打分很累,能不能让 AI 当裁判?用 AI 给 AI 打分。