怎么验证 API 是不是正品
普通用户能做的方法只能发现大的替换,查不出量化这类细微改动。 研究者的结论是:只靠软件检测,原理上就不可靠;真正可靠的保证要靠硬件层面的可信执行环境(TEE)。下面从简单到严格,逐个看五种方法各能做到哪一步。
学完你能做什么
- 知道五种检测方法各自的能力边界
- 用自己的评测集做一次粗筛
- 知道该向提供方要什么样的保证
五种方法一张表
结论来自 UC Berkeley 的《Are You Getting What You Pay For?》(arXiv 2504.04715)和 Stanford 的《Model Equality Testing》(arXiv 2410.20247)。
| 方法 | 怎么做 | 能查出 | 查不出 |
|---|---|---|---|
| 问身份 | 问“你是什么模型” | 几乎查不出 | 参数量、量化;规格类问题答对率不到 5% |
| 跑跑分 | 在 API 上跑公开跑分,和官方分数比 | 大规模替换 | 量化等小改动(差别在一个标准差以内) |
| 对比贪心输出 | 温度设 0,和本地运行的官方权重逐字对比 | 输出不同 | 分不清是替换还是推理设置不同,容易误报 |
| 两样本检验 | 从 API 和参考模型各采样,检验分布是否相同 | 多种改动,功效中位数 77.4% | 需要能拿到参考模型的输出 |
| 可信执行环境 | 提供方在 TEE 里运行模型并出具证明 | 密码学保证 | 需要提供方配合 |
方法一:问身份
最容易,也最没用。论文测试的结果:模型通常只说出家族或开发者,很少说出参数量或量化状态;直接问规格,成功率不到 5%。系统提示被改写成冒充别的身份时,大多数模型认不出自己。
结论:不要用。
方法二:跑跑分,或者跑你的评测集
在 API 上跑一遍公开跑分,和官方公布的分数比。论文的结论:基准检测能暴露大规模替换,比如换成小得多的模型;但量化版和原版在 MMLU、GSM8K、MATH、GPQA Diamond 上的差别通常在重复运行的一个标准差以内,会被自然波动盖住。温度、缓存等因素也让判断更难。
你可以用第三站做的评测集代替公开跑分:同一份题,分别在官方渠道和你要验证的 API 上跑,用误差线判断差距是不是真的。
结论:适合普通用户做粗筛,查得出“换了个小模型”,查不出“换了个量化版”。
考考你你在中转 API 上跑了自己的评测集,分数和官方渠道只差 1 分,在误差范围之内。能说明什么?
- 我知道跑分对上了也不等于正品
方法三:对比贪心输出
把温度设成 0,模型每次都选最可能的下一个词,输出应该是确定的。拿 API 的输出和你本地运行官方权重的输出逐字对比。
问题在于:不同提供方之间的推理不确定性会让完全相同的模型也给出不同输出,造成误报。另外,这个方法需要你能在本地运行官方权重,只适用于开放权重模型。
结论:输出一致是好迹象;不一致不能直接下结论。
方法四:两样本检验
Stanford 的方法把问题当作统计检验:从 API 和参考模型各采一批样本,检验两者是不是同一个分布。他们用的基于 MMD 的检验,配一个简单的字符串核,平均每个提示只需要大约 10 个样本,对多种改动的检测功效中位数为 77.4%。
用这个方法,他们审计了 2024 年夏天提供 4 个 Llama 模型的商业 API,发现 31 个端点中有 11 个的输出分布和 Meta 发布的参考权重不同。
结论:目前最有效的软件方法,但需要参考模型的样本,适合有技术能力的团队审计开放权重模型。
方法五:可信执行环境(TEE)
Berkeley 的论文认为纯软件方法根本上不可靠:基于输出文本的统计检验需要大量查询,而且对细微替换无效;基于对数概率的方法会被生产环境中固有的推理不确定性击败。
他们主张用可信执行环境:模型在一个硬件隔离的环境里运行,环境能出具密码学证明,说明里面跑的是哪份权重。论文认为这样做的额外开销不大。
结论:唯一能给出可靠保证的方法,但需要提供方支持。你能做的是问提供方是否提供这类证明。
普通用户能做到哪一步
- 用自己的评测集,在官方渠道和要验证的 API 上各跑一遍
- 用误差线判断差距;差距明显,说明很可能不是同一个模型
- 差距不明显,只能说明没有大的替换
- 对质量要求高的场景,优先用官方渠道,或要求提供方说明部署的版本(原版还是量化版)和能否提供证明
论文的代码公开在 github.com/sunblaze-ucb/llm-api-audit,有技术能力可以参考。
要下“同一个模型”的结论,先做这几步
2026 年的论文《When Is the Same Model Not the Same Service?》(arXiv 2605.02821)在附录里给了一套审计流程。在声称两家提供的是同一个模型之前,先做到:
- 固定提示集、解码参数、流式模式、分词器、请求格式和发请求的地区
- 从每个端点重复采样;能拿到官方权重时,也从参考实现采样
- 用两样本检验(就是方法四)比较分布
- 分开报告:具体版本一致、服务商标称的版本一致、只是同一家族,这三种结论不一样
检查点
- 问身份没用,规格类问题答对率不到 5%
- 跑分只能查出大的替换
- 贪心输出对比容易误报
- 两样本检验最有效,功效中位数 77.4%
- 只有可信执行环境能给出可靠保证
常见误会
“有工具能一键检测 API 是不是正品。” 研究结论是纯软件方法原理上就有局限。任何检测都只能说“没发现问题”,不能说“保证没问题”。
“分数对得上就放心了。” 量化版的跑分和原版几乎一样。
下一节
确认是正品之后,还要看服务好不好用:同一个模型,不同服务商差在哪。