Vals AI は、同じオープンウェイトを別の API 経由で呼んだときの挙動を比べる Inference Provider Index を公開しています。ベンチマークページは Updated 10/20/2026、Updates 一覧では 10/22/2026 の項目で紹介されています。対象は DeepSeek V4.1 Flash、Kimi K3、MiniMax M3 と、各公式 API および当時それらの重みを提供していた Together AI・Fireworks・Baseten です（評価時点で MiniMax M3 は Baseten の Model APIs で利用不可）。Vals が agent 作業をどう採点するかは、Vals Index v2.2 の記事も参照できます。
Vals が測ったこと
各「モデル×提供元」は同じ 165 件のマルチステップタスクを実行しました。内訳は Finance Agent v2 が 66、Vibe Code Bench が 33、Legal Research が 66 です。Vals AI によると、エージェントとタスク定義は全提供元で共通で、同一モデル内のサンプリングと推論設定は揃えています。全体精度は 3 ベンチを等加重平均。タスクコストは成功リクエスト費用の平均。タイミングは先頭トークン、先頭の本番回答（推論を除く）、生成速度（tokens/秒）です。Vals AI は約 2 週間ごとに同じタスクと設定で再実行し、その都度公式 API のベースラインを取り直すとしています。
全体精度は誤差の範囲内が多い
全体スコアでは、どの第三者もモデル公式 API の統計誤差内に入りました。Vals AI はこの結果を「第三者が広くモデルを劣化させる」証明としては書いていません。個別ベンチでは差が出ます。Legal Research では Kimi K3 が Baseten 経由で 60.6%、Moonshot 公式 API では 75.8%。Coding では Fireworks 経由 87.7%、Moonshot 経由 80.1% です。ツール呼び出し失敗率は、モデルとベンチごとに提供元同士でおよそ 2 ポイント以内。失敗率はホストよりベンチ側に寄り、Vals AI によると金融・コーディングでおよそ 1–6%、法務でおよそ 6–12% です。
コストの振れは全体点差より大きくなり得る
Vals AI によると、同一モデルのタスクあたりコストは提供元で最大約 2.3 倍まで開きます。今回の 3 モデルでは、公式 API は最安でも最速でもありませんでした。
Kimi K3 のコスト差が最もはっきりしています。Baseten では約 $12.65／タスクで、Together AI・Fireworks・Moonshot 上の約 $5.43–$5.97 の 2 倍超。出力量は同程度です。Vals AI は Baseten 上の Kimi K3 でプロンプトキャッシュ命中も低いと報告しています。入力トークンの約 72% がキャッシュ由来で、Together AI と Fireworks は約 94%。Coding サブセットでは約 70% 対約 98% です。
MiniMax M3 は Together AI（約 $1.01）と Fireworks（約 $1.07）で、MiniMax 公式 API（約 $2.18）のおよそ半額です。
DeepSeek V4.1 Flash の要約表では、Fireworks が約 $0.36／タスク（DeepSeek 公式の約 $0.55 より約 34% 安い）、Together AI が約 $0.48、Baseten が約 $0.59 です。モデル別・ピーク時間帯の公式リスト価格は DeepSeek API の料金（2026年10月）、Flash 1017 の他公開ベンチでの位置は DeepSeek V4.1 Flash 1017 のベンチ記事 を参照してください。
速度と先頭トークン待ちもホストで入れ替わる
重みの名前が同じでも、生成速度と先頭トークンまでの待ちはホストで変わります。Kimi K3 は Baseten で中央値約 229 tokens/秒——Moonshot 公式 API の約 45 tokens/秒の約 5 倍——一方、Moonshot 公式 API は立ち上がりが最も遅く、先頭トークンまで中央値約 7.2 秒、先頭の本番回答まで約 12.6 秒。Together AI ではおよそ 1.8 秒と 5.5 秒です。
DeepSeek V4.1 Flash の同じ要約表では、Together AI の生成速度中央値が約 398 tokens/秒（公式約 286 の約 1.4 倍）、Baseten 約 316、Fireworks 約 103（公式の約 0.4 倍）です。その DeepSeek 切片では Fireworks の全体精度が最も高い一方で、速度は最も遅くなっています。
スナップショット：モデル別の精度・コスト・速度
以下は Vals AI が示した本ラウンドのチャート／要約数字です（ページ Updated 10/20/2026）。精度は公表箇所で ±1 標準誤差付きです。
DeepSeek V4.1 Flash
| 提供元 | 全体精度 | タスクコスト（USD） | 中央値 tokens/秒 |
|---|---|---|---|
| Fireworks | 73.0% ± 3.0 pp | 約 $0.36 | 103 |
| DeepSeek（公式） | 70.3% ± 3.1 pp | 約 $0.55 | 286 |
| Baseten | 68.9% ± 3.3 pp | 約 $0.59 | 316 |
| Together AI | 66.4% ± 3.3 pp | 約 $0.48 | 398 |
Kimi K3
| 提供元 | 全体精度 | タスクコスト（USD） | 中央値 tokens/秒 |
|---|---|---|---|
| Fireworks | 73.9% ± 2.7 pp | 約 $5.98 | 48 |
| Together AI | 73.2% ± 3.0 pp | 約 $5.43 | 70 |
| Moonshot（公式） | 71.8% ± 2.9 pp | 約 $5.81 | 45 |
| Baseten | 67.3% ± 3.1 pp | 約 $12.65 | 229 |
この指数の対象は Kimi K3 であり、Kimi K3.1 ではありません。K3.1 Pro の価格と製品注記は Kimi K3.1 Pro の API 料金（2026年10月） を参照し、K3 の提供元差は K3.1 の結果ではありません。
MiniMax M3
| 提供元 | 全体精度 | タスクコスト（USD） | 中央値 tokens/秒 |
|---|---|---|---|
| MiniMax（公式） | 42.9% ± 3.3 pp | 約 $2.18 | 157 |
| Fireworks | 39.3% ± 3.4 pp | 約 $1.07 | 262 |
| Together AI | 37.6% ± 3.4 pp | 約 $1.01 | 116 |
ルーティングの読み方
オープンウェイトを名前で選んだうえで OpenRouter や直結の第三者 API でホストを選ぶなら、Vals AI の整理はこうです。ハードウェア、キャッシュ、ツール呼び出しのパースは、全体精度が誤差棒の内側でもコストとレイテンシを動かし得る。表の「より安い／より速い」ホストは、全業務コストや全タスク種別、後続モデル版を保証しません。提供スタックも時間とともに変わります。Vals AI は OpenRouter が提供側の調整後に品質リグレッションを報告したことに触れ、固定タスクセットで再実行して差を確認するとしています。
2026 年 10 月のこれらの数字が、具体的なプロンプトとツール構成でも成り立つかどうか——参考情報です。使ったことがあれば、サイト下部の運営者連絡先からフィードバックできます。
