Skip to content
查正品第 4 / 4 节

模型降智是怎么回事 ​

有时是真的,有时不是。 “用着用着变笨了”可能来自四种原因:官方服务出了 bug;模型更新后行为变了;中转站换了模型;或者只是正常的随机波动。前三种都有公开记录的真实案例。分辨的办法只有一个:拿固定的题目定期复测,用数字说话。

学完你能做什么 ​

  • 说出“降智”的四种常见原因,各举一个真实例子
  • 用自己的评测集定期复测,判断是不是真的变差
  • 遇到降智时,留下能帮人查清原因的证据

原因一:官方服务出了 bug ​

2025 年 9 月 17 日,Anthropic 发布了一篇事故复盘:2025 年 8 月到 9 月初,三个基础设施 bug 间歇性地降低了 Claude 的回答质量。

bug发生了什么影响
上下文路由错误部分 Sonnet 4 请求被送到为 100 万 token 上下文配置的服务器起初 0.8% 的请求;8 月 31 日最严重的一小时达 16%;约 30% 的 Claude Code 用户至少有一条消息受影响
输出损坏服务器配置错误,偶尔给不该出现的字很高概率英文回答里冒出泰文或中文字符,代码里出现明显语法错误
编译器错误改进选词的代码触发了编译器的潜在 bug同一个提示这次正常、下次出错

几个值得记住的细节:

  • 起初分不清。 8 月初开始有用户反映回答变差,但官方说一开始很难把这些报告和正常的反馈波动区分开,直到 8 月底报告越来越多才开始调查
  • 有人一直倒霉,有人完全正常。 路由是“粘性”的:一次被送到错误的服务器,同一对话后面的请求很可能还去那里。所以有的用户反复遇到,有的用户从没遇到,报告互相矛盾
  • 常规评测没发现。 平时的基准测试和抽查都没捕捉到这次退化,部分原因是模型常能从个别错误里自己恢复过来

Anthropic 在文中明确说:他们从不因为需求、时段或服务器负载降低模型质量,这次的问题完全来自基础设施 bug。

考考你你觉得模型变笨了,同事却说一切正常。按上面的案例,这说明什么?

  • 我知道服务端 bug 可能只影响一部分人

原因二:模型更新,行为变了 ​

研究者 Lingjiao Chen、Matei Zaharia、James Zou 比较了 2023 年 3 月和 6 月两个版本的 GPT-3.5 和 GPT-4(论文 arXiv 2307.09009):

  • GPT-4 判断一个数是不是质数,正确率从 84% 降到 51%。部分原因是它更不愿意按“一步步想”的提示去做
  • 同一项任务,GPT-3.5 在 6 月反而好得多
  • GPT-4 在 6 月更不愿意回答敏感问题,多跳推理题却变好了
  • 两个模型写代码时的格式错误都变多了
  • GPT-4 遵循指令的能力随时间下降

论文的结论是:“同一个”模型服务,行为可以在较短时间内大幅变化,需要持续监测。 注意这里不全是变差:有的任务变好,有的变差。你要关心的是自己的任务变成了哪样。

  • 我知道模型更新可能让一部分任务变好、另一部分变差

原因三:中转站换了模型 ​

第一课讲过,研究者记录到低价中转站会“掺水”:把标称的模型换成旧版本或更便宜的模型。研究者 Zilan Qian 的文章写道,往往要到复杂任务上才露馅,用户的说法就是“降智”。

如果你通过中转 API 使用,又只在中转那里遇到降智,先怀疑这一条。

原因四:只是随机波动 ​

模型每次的回答本来就不一样。你记住的往往是最近几次特别差的回答。Anthropic 的复盘也说,最初的报告很难和正常的波动分开。

判断方法在差几分才算真的差讲过:差距落在误差范围里,就不能说变差了。

自测:是不是真的变笨了 ​

第 1 步:准备一份固定的复测题 ​

从你的评测集里挑一部分,以后每次都用这一份,不改题、不改提示词、不改参数。题目越多,越能看出小的变化。

你应该得到:一份固定不变的题目和设置。

  • 我有一份固定的复测题

第 2 步:定期跑,记下日期 ​

每隔一段时间跑一遍,记下日期、模型名、调用渠道(官方还是中转)和得分。如果服务商提供带日期的固定版本号,记下你用的是哪一个。

你应该得到:一张“日期 × 得分”的表。

第 3 步:觉得变笨时,马上复测 ​

  • 用同一份题,在同一个渠道跑一遍,和历史得分比,看差距是否超出误差范围
  • 再在官方渠道跑一遍。只有中转那里变差,多半是原因三
  • 开一个新对话再试。如果新对话正常,旧对话一直差,可能是像上面那种“粘性”的服务端问题

考考你复测发现:中转 API 比上个月低了很多,超出误差范围;同一份题在官方渠道和上个月一样。最可能是什么原因?

第 4 步:留下证据,向服务商反馈 ​

Anthropic 在复盘里说,帮他们查清问题的是用户的具体报告:观察到的具体变化、意外行为的例子、不同用法里出现的规律。反馈时带上:

  • 具体的提示词和回答
  • 发生的日期和时间
  • 你的复测分数前后对比

Claude 的用户可以在 Claude Code 里用 /bug 命令,或在 Claude 应用里点“踩”按钮反馈。

检查点 ​

  • 降智的四种原因:服务 bug、模型更新、中转换模型、随机波动
  • 服务 bug 可能只影响一部分请求,所以有人遇到、有人没遇到
  • 模型更新会让有的任务变好、有的变差
  • 用固定的题定期复测,按渠道和对话拆开比,才能说清是不是真的变笨了

常见误会 ​

“降智都是厂商故意的,忙的时候就偷偷降级。” Anthropic 公开复盘的那次降智来自 bug,他们明确说从不因需求、时段或负载降低质量。没有复测数据,很难把感觉归到任何一种原因上。

“降智都是错觉。” 上面的案例说明,降智可能是真的,而且官方的常规评测也没能及时发现。

“我问模型‘你变笨了吗’就知道了。” 模型不知道自己背后的服务出了什么问题。只能靠复测。

下一步 ​

回到课程首页,从你的一件真实任务开始,做一次完整的选型:看榜缩小范围,用自己的题比出结果,确认买到的是它,挑一家稳定的服务商,再用同一份题定期复测。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。