用 AI 给 AI 打分
基本靠谱,但它有几个固定的偏差,要先修正再用。 2023 年的论文《Judging LLM-as-a-Judge》(arXiv 2306.05685)比较了 AI 裁判和人类:GPT-4 这样的强模型当裁判,和人类偏好的一致率超过 80%,和人与人之间的一致率相当。数据来自 3 千条专家投票和 3 千条众包投票。
同一篇论文也列出了它的毛病。
学完你能做什么
- 说出 AI 裁判的三种偏差
- 给自己的评测加上对应的修正
偏差一:位置偏差
裁判会偏好某个位置的回答。论文的例子:让 GPT-4 比较 GPT-3.5 和 Vicuna-13B 的回答。GPT-3.5 的回答放在前面时,GPT-4 认为它更详细、更好;把两个回答交换位置,判断就变了。
修正:每对回答比两次,第二次交换顺序。两次结论一致才算数,不一致就记为平局。
考考你你让裁判比较 A 和 B:A 在前时判 A 赢,交换后 B 在前判 B 赢。该怎么记?
- 我的评测会交换顺序比两次
偏差二:长度偏差
裁判偏好更长的回答,哪怕多出来的内容没有用。这和 Arena 上人类投票的风格偏好是同一回事。
修正:在评分标准里写明“不因篇幅加分”;或者在提示词里限制候选回答的长度;比较时顺便记下两边的字数,看看长的是不是总赢。
偏差三:自我偏好
裁判可能偏向自己或同一家族模型写的回答。
修正:裁判不要用候选模型中的任何一个。实在要用,就换两个不同家族的裁判,看结论是否一致。
还有一条:推理能力有限
论文指出,裁判自己做不出来的题,也很难判对,比如数学和推理题。
修正:有标准答案的题,直接和答案比对,不用 AI 裁判。把裁判留给写作、总结这类开放题。
- 我知道哪些题不该交给 AI 裁判
怎么把它放进你的评测
- 先人工给十几道题打分
- 让 AI 裁判按同一份标准打同样的题
- 对比两份结果,一致率够高再让裁判打剩下的题
- 打分时:交换顺序比两次、裁判不用候选模型、有标准答案的题不交给它
检查点
- 强模型当裁判,和人类一致率超过 80%
- 三种偏差:位置、长度、自我偏好
- 修正:交换顺序、不因篇幅加分、换个家族的裁判
- 有标准答案的题直接比对
常见误会
“裁判给 9 分就说明回答很好。” 绝对分数受提示词影响很大。比较两个模型时,用“两两比较谁更好”比“各打一个分”更稳。
“一致率 80% 很高,可以完全替代人。” 剩下的 20% 可能恰好集中在你最在乎的难题上。用之前先人工抽查。
下一节
打完分,A 平均 82 分,B 平均 79 分。A 真的更好吗?差几分才算真的差。