Vals AI 发布了 Inference Provider Index，用来比较同一开源权重通过不同 API 调用时的表现。榜页标注 Updated 10/20/2026；Vals AI Updates 列表在 10/22/2026 条目中介绍该指数。本轮覆盖 DeepSeek V4.1 Flash、Kimi K3、MiniMax M3，以及各自官方 API 与当时提供这些权重的第三方——Together AI、Fireworks、Baseten（评测时 MiniMax M3 在 Baseten Model APIs 上不可用）。Vals 如何给 agent 作业打分，可参见我们的 Vals Index v2.2 报道。
Vals 测了什么
每个「模型×提供方」组合跑同一套 165 道多步任务：Finance Agent v2 66 道、Vibe Code Bench 33 道、Legal Research 66 道。Vals AI 写明：各提供方使用相同 agent 与任务定义，同一模型内采样与推理设置对齐。总体准确率是三项基准等权平均；任务成本是成功请求费用的平均；时延包括首 token、首段正式回答（不含推理段）以及生成速度（tokens/秒）。Vals AI 称计划大约每两周用相同任务与设置重跑，并每次刷新官方 API 基线。
总体准确率多在误差内
在总体得分上，各第三方都落在相对模型官方 API 的统计误差内。Vals AI 并未把这次结果写成「第三方普遍把模型变笨」。单项基准仍可能拉开差距：Legal Research 上，Kimi K3 经 Baseten 为 60.6%，Moonshot 官方 API 为 75.8%；Coding 上，经 Fireworks 为 87.7%，经 Moonshot 为 80.1%。工具调用失败率在各提供方之间大约差不出两个百分点；失败率更跟基准类型走——Vals AI 称金融与编程大约 1–6%，法律大约 6–12%。
成本波动可以大于总体分差
Vals AI 报告：同一模型按任务计的成本，随提供方最多可差约 2.3 倍。本轮三个模型里，官方 API 都不是最便宜，也不是最快。
Kimi K3 的成本反差最明显：Baseten 约每任务 $12.65，超过 Together AI、Fireworks、Moonshot 上约 $5.43–$5.97 的两倍，而写出的量大致相当。Vals AI 还写 Baseten 上 Kimi K3 的提示缓存命中更低——输入 token 约 72% 来自缓存，Together AI 与 Fireworks 约 94%；Coding 子集上约 70% 对约 98%。
MiniMax M3 在 Together AI（约 $1.01）和 Fireworks（约 $1.07）上的任务成本，大约是 MiniMax 官方 API（约 $2.18）的一半。
DeepSeek V4.1 Flash 的汇总表里，Fireworks 约每任务 $0.36（比 DeepSeek 官方约 $0.55 低约 34%），Together AI 约 $0.48，Baseten 约 $0.59。DeepSeek 按模型与峰谷价的官方标价见 DeepSeek API 价格（2026 年 10 月）；Flash 1017 在其他公开榜上的位置见 DeepSeek V4.1 Flash 1017 基准说明。
速度和首 token 等待也会对调
即使权重同名，生成速度和等到首 token 的时间也会随托管方变化。Kimi K3 在 Baseten 上中位约 229 tokens/秒——约为 Moonshot 官方 API 约 45 tokens/秒的五倍——而 Moonshot 官方 API 起步最慢：中位约 7.2 秒到首 token、约 12.6 秒到首段正式回答，Together AI 上大约是 1.8 秒与 5.5 秒。
DeepSeek V4.1 Flash 同一汇总表里，Together AI 生成速度中位约 398 tokens/秒（约合官方约 286 的 1.4 倍），Baseten 约 316，Fireworks 约 103（约合官方的 0.4 倍）——尽管 Fireworks 在该 DeepSeek 切片上总体准确率最高。
快照：按模型看准确率、成本与速度
下表数字来自 Vals AI 本轮图表与摘要（榜页 Updated 10/20/2026）。准确率在 Vals 公布处附 ±1 标准误。
DeepSeek V4.1 Flash
| 提供方 | 总体准确率 | 每任务成本（美元） | 中位 tokens/秒 |
|---|---|---|---|
| Fireworks | 73.0% ± 3.0 pp | 约 $0.36 | 103 |
| DeepSeek（官方） | 70.3% ± 3.1 pp | 约 $0.55 | 286 |
| Baseten | 68.9% ± 3.3 pp | 约 $0.59 | 316 |
| Together AI | 66.4% ± 3.3 pp | 约 $0.48 | 398 |
Kimi K3
| 提供方 | 总体准确率 | 每任务成本（美元） | 中位 tokens/秒 |
|---|---|---|---|
| Fireworks | 73.9% ± 2.7 pp | 约 $5.98 | 48 |
| Together AI | 73.2% ± 3.0 pp | 约 $5.43 | 70 |
| Moonshot（官方） | 71.8% ± 2.9 pp | 约 $5.81 | 45 |
| Baseten | 67.3% ± 3.1 pp | 约 $12.65 | 229 |
本指数跑的是 Kimi K3，不是 Kimi K3.1。K3.1 Pro 的标价与产品说明见 Kimi K3.1 Pro API 价格（2026 年 10 月）；K3 的提供方差距不能当作 K3.1 的结果。
MiniMax M3
| 提供方 | 总体准确率 | 每任务成本（美元） | 中位 tokens/秒 |
|---|---|---|---|
| MiniMax（官方） | 42.9% ± 3.3 pp | 约 $2.18 | 157 |
| Fireworks | 39.3% ± 3.4 pp | 约 $1.07 | 262 |
| Together AI | 37.6% ± 3.4 pp | 约 $1.01 | 116 |
选型时怎么读
若先按开源模型名选型，再在 OpenRouter 或直连第三方 API 上挑托管方，Vals AI 的框架是：硬件、缓存与工具调用解析仍可能拉动成本与时延，即使总体准确率落在误差条内。表里更便宜或更快的托管方，不等于全业务账单、所有任务类型或后续模型版本。提供方技术栈也会随时间改动；Vals AI 提到 OpenRouter 曾报告提供方调整服务后的质量回退，并称会在固定任务集上重跑以便复核差距。
这些 2026 年 10 月数字在具体提示词与工具链上是否仍然成立——仅供参考。用过的话，可以通过网站底部的站长联系方式反馈给我们。
