同一个模型,不同服务商差在哪
名字一样,服务不一样。 同一个开源模型可以由很多家服务商提供。上一课查的是“是不是这个模型”;这一课查的是“这家的服务好不好用”:多快出第一个字、每秒吐多少字、能塞多长的输入、工具调用和 JSON 能不能直接用、会不会动不动超时。
学完你能做什么
- 说出“同一个模型”在不同服务商之间会差在哪几项
- 用一张清单,给候选服务商做一次测评
- 按自己的任务,而不是按模型名,选服务商
研究怎么说:模型名不够用
2026 年的论文《When Is the Same Model Not the Same Service?》(arXiv 2605.02821)测量了 2025 年第四季度托管开源模型 API 的真实使用情况。它的核心主张是:生产环境里真正用到的单位不是“模型”,而是服务,由这几样共同决定:
| 组成 | 意思 |
|---|---|
| 模型变体 | 具体是哪个版本 |
| 协议行为 | 支持哪些接口格式,比如 OpenAI 兼容、Anthropic 兼容 |
| 上下文容量 | 实际能接受多长的输入和输出 |
| 标价 | 每百万 token 多少钱 |
| 延迟和吞吐 | 多久出第一个字(TTFT),每秒多少 token(TPS) |
| 可靠性 | 会不会超时、出错后能不能恢复 |
| 任务可行性 | 你的任务在这家能不能跑通 |
而且这些都随时间变化。
论文的三个发现:
- 标价相对一致,其他差别更大。 各家的标价比较接近,延迟、吞吐、上下文长度、协议支持和出错方式的差别更大
- 上架的多,不等于用的多。 一个模型有很多家提供,实际被用的集中在少数几家
- 任务决定选择。 不同应用的输入输出长度差别很大,所以选服务商要看“哪个模型、哪家、什么任务、什么时间”,不能按模型名查表
论文还算了两个例子:在满足可行性约束的前提下,把请求分到合适的服务商,Qwen3-32B 的成本降低 37.8%;DeepSeek-V3.2 的平均吞吐比直连官方提高约 90%。
考考你两家服务商的 DeepSeek 标价一样。能说它们对你来说一样吗?
- 我知道服务商之间主要差在哪几项
第 1 步:先筛硬条件
有些条件不满足就直接排除,不用比分数。论文的建议是:应用要求严格输出格式或工具调用兼容时,把这些当作必须满足的条件,而不是加减分项。
对照你的任务逐项看:
- 支持你代码里用的接口格式(OpenAI Chat Completions、Anthropic Messages 或 OpenAI Responses)
- 上下文长度、最大输入长度、最大输出长度够你的最长请求
- 需要缓存时,支持缓存
你应该得到:一份剩下的候选服务商名单。
第 2 步:按五个维度测
有的测评平台把服务商的能力分成五个维度。你可以借用这个框架,拿自己的请求去测:
| 维度 | 测什么 | 怎么测 |
|---|---|---|
| 回答表现 | 按要求回答、推理题、专业题、图文题 | 用你的评测集,记正确率 |
| 响应效率 | 首次响应、正文等待、生成速率、任务总耗时 | 流式请求,记首个 token 的时间和每秒 token 数 |
| 工具配合 | 选对工具、多工具调用、不乱用工具、拿到工具结果后继续 | 准备几个带工具定义的请求,看调用是否正确 |
| 格式兼容 | 指定 JSON 能否照做、常用参数第一次就能用、复杂参数能否用 | 用你代码里真实的请求参数发一遍 |
| 缓存复用 | 重复请求能否命中缓存、多轮对话的输入复用比例 | 同一段长前缀发多次,看账单里的缓存 token |
测的时候用你自己的请求:同样的提示词、同样的参数、同样的流式设置,在同一个地区发出。
考考你你的应用是客服机器人,用户等得越久越容易走。五个维度里先看哪个?
- 我用自己的请求测过每个候选服务商
第 3 步:测不止一次
论文把测量时间算作服务的一部分:延迟、吞吐和可靠性都会随时间变化。只测一次,看到的只是那一刻。
- 在你实际使用的时段测
- 至少分几天、几个时段各测一次
- 记下超时和报错的次数,不只记平均速度
测评平台的报告通常也会注明:只展示最近一次有效采样,分数受输出长度、思考开关等影响,仅供参考。你自己测时同样要记下这些设置。
第 4 步:把风险也算进去
论文把“用一家服务商的风险”拆成几类,可以直接当检查表:
| 风险 | 你会遇到什么 |
|---|---|
| 超时 | 请求挂住、要重试 |
| 格式错误 | JSON 或工具调用解析失败 |
| 上下文截断 | 长输入被截掉,回答漏信息 |
| 计费 | 实际扣费和预期不一致 |
| 身份或质量漂移 | 背后的模型变了,见上一课 |
论文还提醒:完整的比较不只看成本和速度,还要看重试成本、失败率、截断率、工具调用和 JSON 格式符合率,以及任务质量。
检查点
- 同一个模型在不同服务商那里是不同的服务
- 标价相近,差别在延迟、吞吐、上下文、协议、出错方式
- 先筛硬条件,再按五个维度测,分时段多测几次
- 风险清单:超时、格式错误、截断、计费、质量漂移
常见误会
“选最便宜的那家就行。” 价格各家往往差不多。失败重试、截断、格式错误带来的成本,可能比单价差别更大。
“测一次最快的就是最快的。” 速度随时段变化。只测一次,测到的可能是那家正好空闲的时候。
下一节
用着用着觉得模型“变笨了”,是真的吗?模型降智是怎么回事。