模型降智是怎么回事
有时是真的,有时不是。 “用着用着变笨了”可能来自四种原因:官方服务出了 bug;模型更新后行为变了;中转站换了模型;或者只是正常的随机波动。前三种都有公开记录的真实案例。分辨的办法只有一个:拿固定的题目定期复测,用数字说话。
学完你能做什么
- 说出“降智”的四种常见原因,各举一个真实例子
- 用自己的评测集定期复测,判断是不是真的变差
- 遇到降智时,留下能帮人查清原因的证据
原因一:官方服务出了 bug
2025 年 9 月 17 日,Anthropic 发布了一篇事故复盘:2025 年 8 月到 9 月初,三个基础设施 bug 间歇性地降低了 Claude 的回答质量。
| bug | 发生了什么 | 影响 |
|---|---|---|
| 上下文路由错误 | 部分 Sonnet 4 请求被送到为 100 万 token 上下文配置的服务器 | 起初 0.8% 的请求;8 月 31 日最严重的一小时达 16%;约 30% 的 Claude Code 用户至少有一条消息受影响 |
| 输出损坏 | 服务器配置错误,偶尔给不该出现的字很高概率 | 英文回答里冒出泰文或中文字符,代码里出现明显语法错误 |
| 编译器错误 | 改进选词的代码触发了编译器的潜在 bug | 同一个提示这次正常、下次出错 |
几个值得记住的细节:
- 起初分不清。 8 月初开始有用户反映回答变差,但官方说一开始很难把这些报告和正常的反馈波动区分开,直到 8 月底报告越来越多才开始调查
- 有人一直倒霉,有人完全正常。 路由是“粘性”的:一次被送到错误的服务器,同一对话后面的请求很可能还去那里。所以有的用户反复遇到,有的用户从没遇到,报告互相矛盾
- 常规评测没发现。 平时的基准测试和抽查都没捕捉到这次退化,部分原因是模型常能从个别错误里自己恢复过来
Anthropic 在文中明确说:他们从不因为需求、时段或服务器负载降低模型质量,这次的问题完全来自基础设施 bug。
考考你你觉得模型变笨了,同事却说一切正常。按上面的案例,这说明什么?
- 我知道服务端 bug 可能只影响一部分人
原因二:模型更新,行为变了
研究者 Lingjiao Chen、Matei Zaharia、James Zou 比较了 2023 年 3 月和 6 月两个版本的 GPT-3.5 和 GPT-4(论文 arXiv 2307.09009):
- GPT-4 判断一个数是不是质数,正确率从 84% 降到 51%。部分原因是它更不愿意按“一步步想”的提示去做
- 同一项任务,GPT-3.5 在 6 月反而好得多
- GPT-4 在 6 月更不愿意回答敏感问题,多跳推理题却变好了
- 两个模型写代码时的格式错误都变多了
- GPT-4 遵循指令的能力随时间下降
论文的结论是:“同一个”模型服务,行为可以在较短时间内大幅变化,需要持续监测。 注意这里不全是变差:有的任务变好,有的变差。你要关心的是自己的任务变成了哪样。
- 我知道模型更新可能让一部分任务变好、另一部分变差
原因三:中转站换了模型
第一课讲过,研究者记录到低价中转站会“掺水”:把标称的模型换成旧版本或更便宜的模型。研究者 Zilan Qian 的文章写道,往往要到复杂任务上才露馅,用户的说法就是“降智”。
如果你通过中转 API 使用,又只在中转那里遇到降智,先怀疑这一条。
原因四:只是随机波动
模型每次的回答本来就不一样。你记住的往往是最近几次特别差的回答。Anthropic 的复盘也说,最初的报告很难和正常的波动分开。
判断方法在差几分才算真的差讲过:差距落在误差范围里,就不能说变差了。
自测:是不是真的变笨了
第 1 步:准备一份固定的复测题
从你的评测集里挑一部分,以后每次都用这一份,不改题、不改提示词、不改参数。题目越多,越能看出小的变化。
你应该得到:一份固定不变的题目和设置。
- 我有一份固定的复测题
第 2 步:定期跑,记下日期
每隔一段时间跑一遍,记下日期、模型名、调用渠道(官方还是中转)和得分。如果服务商提供带日期的固定版本号,记下你用的是哪一个。
你应该得到:一张“日期 × 得分”的表。
第 3 步:觉得变笨时,马上复测
- 用同一份题,在同一个渠道跑一遍,和历史得分比,看差距是否超出误差范围
- 再在官方渠道跑一遍。只有中转那里变差,多半是原因三
- 开一个新对话再试。如果新对话正常,旧对话一直差,可能是像上面那种“粘性”的服务端问题
考考你复测发现:中转 API 比上个月低了很多,超出误差范围;同一份题在官方渠道和上个月一样。最可能是什么原因?
第 4 步:留下证据,向服务商反馈
Anthropic 在复盘里说,帮他们查清问题的是用户的具体报告:观察到的具体变化、意外行为的例子、不同用法里出现的规律。反馈时带上:
- 具体的提示词和回答
- 发生的日期和时间
- 你的复测分数前后对比
Claude 的用户可以在 Claude Code 里用 /bug 命令,或在 Claude 应用里点“踩”按钮反馈。
检查点
- 降智的四种原因:服务 bug、模型更新、中转换模型、随机波动
- 服务 bug 可能只影响一部分请求,所以有人遇到、有人没遇到
- 模型更新会让有的任务变好、有的变差
- 用固定的题定期复测,按渠道和对话拆开比,才能说清是不是真的变笨了
常见误会
“降智都是厂商故意的,忙的时候就偷偷降级。” Anthropic 公开复盘的那次降智来自 bug,他们明确说从不因需求、时段或负载降低质量。没有复测数据,很难把感觉归到任何一种原因上。
“降智都是错觉。” 上面的案例说明,降智可能是真的,而且官方的常规评测也没能及时发现。
“我问模型‘你变笨了吗’就知道了。” 模型不知道自己背后的服务出了什么问题。只能靠复测。
下一步
回到课程首页,从你的一件真实任务开始,做一次完整的选型:看榜缩小范围,用自己的题比出结果,确认买到的是它,挑一家稳定的服务商,再用同一份题定期复测。