本文目錄
Vals AI 發布了 Inference Provider Index，用來比較同一開源權重透過不同 API 呼叫時的表現。榜頁標註 Updated 10/20/2026；Vals AI Updates 列表在 10/22/2026 條目中介紹該指數。本輪涵蓋 DeepSeek V4.1 Flash、Kimi K3、MiniMax M3，以及各自官方 API 與當時提供這些權重的第三方——Together AI、Fireworks、Baseten（評測時 MiniMax M3 在 Baseten Model APIs 上不可用）。Vals 如何為 agent 作業打分，可參見我們的 Vals Index v2.2 報導。
Vals 測了什麼
每個「模型×提供方」組合跑同一套 165 道多步任務：Finance Agent v2 66 道、Vibe Code Bench 33 道、Legal Research 66 道。Vals AI 寫明：各提供方使用相同 agent 與任務定義，同一模型內採樣與推理設定對齊。總體準確率是三項基準等權平均；任務成本是成功請求費用的平均；時延包括首 token、首段正式回答（不含推理段）以及生成速度（tokens/秒）。Vals AI 稱計畫大約每兩週用相同任務與設定重跑，並每次刷新官方 API 基線。
總體準確率多在誤差內
在總體得分上，各第三方都落在相對模型官方 API 的統計誤差內。Vals AI 並未把這次結果寫成「第三方普遍把模型變笨」。單項基準仍可能拉開差距：Legal Research 上，Kimi K3 經 Baseten 為 60.6%，Moonshot 官方 API 為 75.8%；Coding 上，經 Fireworks 為 87.7%，經 Moonshot 為 80.1%。工具呼叫失敗率在各提供方之間大約差不出兩個百分點；失敗率更跟基準類型走——Vals AI 稱金融與程式大約 1–6%，法律大約 6–12%。
成本波動可以大於總體分差
Vals AI 報告：同一模型按任務計的成本，隨提供方最多可差約 2.3 倍。本輪三個模型裡，官方 API 都不是最便宜，也不是最快。
Kimi K3 的成本反差最明顯：Baseten 約每任務 $12.65，超過 Together AI、Fireworks、Moonshot 上約 $5.43–$5.97 的兩倍，而寫出的量大致相當。Vals AI 還寫 Baseten 上 Kimi K3 的提示快取命中更低——輸入 token 約 72% 來自快取，Together AI 與 Fireworks 約 94%；Coding 子集上約 70% 對約 98%。
MiniMax M3 在 Together AI（約 $1.01）和 Fireworks（約 $1.07）上的任務成本，大約是 MiniMax 官方 API（約 $2.18）的一半。
DeepSeek V4.1 Flash 的匯總表裡，Fireworks 約每任務 $0.36（比 DeepSeek 官方約 $0.55 低約 34%），Together AI 約 $0.48，Baseten 約 $0.59。DeepSeek 按模型與尖峰／離峰價的官方標價見 DeepSeek API 價格（2026 年 10 月）；Flash 1017 在其他公開榜上的位置見 DeepSeek V4.1 Flash 1017 基準說明。
速度和首 token 等待也會對調
即使權重同名，生成速度和等到首 token 的時間也會隨託管方變化。Kimi K3 在 Baseten 上中位約 229 tokens/秒——約為 Moonshot 官方 API 約 45 tokens/秒的五倍——而 Moonshot 官方 API 起步最慢：中位約 7.2 秒到首 token、約 12.6 秒到首段正式回答，Together AI 上大約是 1.8 秒與 5.5 秒。
DeepSeek V4.1 Flash 同一匯總表裡，Together AI 生成速度中位約 398 tokens/秒（約合官方約 286 的 1.4 倍），Baseten 約 316，Fireworks 約 103（約合官方的 0.4 倍）——儘管 Fireworks 在該 DeepSeek 切片上總體準確率最高。
快照：按模型看準確率、成本與速度
下表數字來自 Vals AI 本輪圖表與摘要（榜頁 Updated 10/20/2026）。準確率在 Vals 公布處附 ±1 標準誤。
DeepSeek V4.1 Flash
| 提供方 | 總體準確率 | 每任務成本（美元） | 中位 tokens/秒 |
|---|---|---|---|
| Fireworks | 73.0% ± 3.0 pp | 約 $0.36 | 103 |
| DeepSeek（官方） | 70.3% ± 3.1 pp | 約 $0.55 | 286 |
| Baseten | 68.9% ± 3.3 pp | 約 $0.59 | 316 |
| Together AI | 66.4% ± 3.3 pp | 約 $0.48 | 398 |
Kimi K3
| 提供方 | 總體準確率 | 每任務成本（美元） | 中位 tokens/秒 |
|---|---|---|---|
| Fireworks | 73.9% ± 2.7 pp | 約 $5.98 | 48 |
| Together AI | 73.2% ± 3.0 pp | 約 $5.43 | 70 |
| Moonshot（官方） | 71.8% ± 2.9 pp | 約 $5.81 | 45 |
| Baseten | 67.3% ± 3.1 pp | 約 $12.65 | 229 |
本指數跑的是 Kimi K3，不是 Kimi K3.1。K3.1 Pro 的標價與產品說明見 Kimi K3.1 Pro API 價格（2026 年 10 月）；K3 的提供方差距不能當作 K3.1 的結果。
MiniMax M3
| 提供方 | 總體準確率 | 每任務成本（美元） | 中位 tokens/秒 |
|---|---|---|---|
| MiniMax（官方） | 42.9% ± 3.3 pp | 約 $2.18 | 157 |
| Fireworks | 39.3% ± 3.4 pp | 約 $1.07 | 262 |
| Together AI | 37.6% ± 3.4 pp | 約 $1.01 | 116 |
選型時怎麼讀
若先按開源模型名選型，再在 OpenRouter 或直連第三方 API 上挑託管方，Vals AI 的框架是：硬體、快取與工具呼叫解析仍可能拉動成本與時延，即使總體準確率落在誤差條內。表裡更便宜或更快的託管方，不等於全業務帳單、所有任務類型或後續模型版本。提供方技術棧也會隨時間改動；Vals AI 提到 OpenRouter 曾報告提供方調整服務後的品質回退，並稱會在固定任務集上重跑以便複核差距。
這些 2026 年 10 月數字在具體提示詞與工具鏈上是否仍然成立——僅供參考。用過的話，可以透過網站底部的站長聯絡方式回饋給我們。
