Skip to content
自己评测第 1 / 3 节

做一份自己的评测集 ​

拿你真实要做的事出题,每个候选模型用同样的设置各答一遍,按事先定好的标准打分。 这比任何排行榜都更接近你的实际体验。做完这一节,你会有一张表:几十道题、几个模型、每格一个分数。

开始之前 ​

  • 一件具体的任务,比如“把客户邮件分类”“把会议记录写成纪要”
  • 两到三个候选模型,都能调用
  • 一个表格软件

第 1 步:从真实工作里挑题 ​

不要自己编题。翻你过去的工作记录,把真实出现过的输入拿出来:客户邮件、会议记录、报错信息。

挑题时照顾三类:

类型占比建议为什么
常见的大多数决定日常体验
难的、边界的一部分拉开模型差距
曾经出过错的几道你最在意的失败

题目数量先从 30 到 50 道开始。第三课会讲为什么题太少比不出差别。

你应该得到:一份题目清单,每道题是一段真实输入。

  • 我挑出了至少 30 道真实题目

第 2 步:事先写清“什么算对” ​

先写标准,再看答案。看过答案再定标准,你会不自觉地偏向喜欢的那个。

按任务类型选打分方式:

任务打分方式
分类、抽取、有标准答案和标准答案比对,对就 1、错就 0
写代码跑测试,过了就对
写作、总结、开放回答列 3 到 5 条检查项,比如“没漏掉决议”“没编造数字”,满足几条得几分

考考你你先让两个模型各写一份纪要,读完觉得 A 更好,再据此定了评分标准。问题在哪?

  • 每道题都有事先写好的判对标准

第 3 步:用同样的设置跑每个模型 ​

每个模型要在同样的条件下答题,否则比的不是模型:

  • 同样的提示词,同样的系统提示
  • 同样的温度等参数
  • 每道题都放在新对话里,避免前面的内容影响后面

开放类任务,同一道题可以让每个模型答几次。模型每次的回答会不一样,答几次能看出它稳不稳。

你应该得到:每道题、每个模型至少一份回答。

  • 所有模型用的是同一份提示词和参数

第 4 步:盲评打分,记进一张表 ​

打分时把模型名遮住,只看回答。可以让同事帮你打乱顺序。

表的样子:

题号类型模型 A模型 B模型 C
1常见110
2难010
…
平均

再加两列你在意的:每题花了多少钱、等了多久。最好的模型不一定划算。

  • 我有一张题目 × 模型的分数表

检查点 ​

  • 题目来自真实工作,包含常见的、难的、出过错的
  • 判对标准在看答案之前写好
  • 每个模型的提示词和参数完全一样
  • 打分时看不到模型名

没成功? ​

分数都差不多。 题太简单或太少。多加难题,把题量加到能比出差别,见差几分才算真的差。

开放题打分太累。 先人工打十几道,再试试让 AI 帮忙打分,下一节讲它的坑。

下一节 ​

开放题人工打分很累,能不能让 AI 当裁判?用 AI 给 AI 打分。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。