DeepSeek は北京時間 2026 年 10 月 20 日 17:30、X の 4 本のスレッドで DeepInfer を発表しました。スレッドによると、DeepInfer は DeepSeek-V4.1-Flash を高スループット・低レイテンシで大規模に動かしている基盤で、計算コストとエネルギー消費を下げ、AI をより手頃にするために本番スタックを公開するとしています。今後の DeepSeek モデルの推論コードや継続的な最適化も同じリポジトリに追加される予定だと DeepSeek は述べています。

公開された内容

GitHub の DeepInfer README によると、現時点で対応するモデルは DeepSeek-V4.1-Flash のみで、デフォルトのチェックポイントは DeepSeek-V4.1-Flash-1017 です。動作するハードウェアは NVIDIA SM100 GPU と Huawei Ascend 950 NPU で、ライセンスは Apache License 2.0 です。

README は機能として、最適化カーネル、Attention DP と MoE のエキスパート並列、DSpark によるドラフトと信頼度に基づく検証スケジューリング、SWA bounded replay、非同期スケジューリング、バッチ不変推論、決定的サンプリング、構造化出力などを挙げています。

README によると、DeepInfer は当初主に vLLM をベースに構築され、SGLang と TensorRT-LLM も参考にしています。

あわせて公開された deepseek-recipe は、スレッドでは本番用のトークンエンコード・デコード部品で、公式 DeepSeek API の処理ロジックにそろえたものと説明されています。deepseek-recipe の README によると、Rust ライブラリと Python バインディングの集まりで、DeepSeek V4・V4.1 の会話をプロンプトに変換し、出力を API のレスポンス形式に変換します。こちらのライセンスは MIT です。

含まれていないもの

DeepInfer の README は、今回の公開はオフライン推論の提供だとしたうえで、完全な推論サービスに必要だが今回含まれない部品として、KV キャッシュシステム、VE/Prefill/Decode の分離、prefill と decode それぞれのデータ並列レプリカ間の負荷分散の 3 つを挙げています。分離に必要なエンジン機能の大半はすでに実装済みとも書かれています。V4.1 Flash を本番でサービングするには、これらを自前で用意する必要があります。

性能

README には数値表ではなく、DeepSeek 自身による prefill と decode のスループットのグラフが載っています。DeepSeek によると、prefill は SM100 GPU 4 基、decode は 64 基で、それぞれ 1 つの scale-up domain 内で計測し、再現用のスクリプトも公開しています。いずれも DeepSeek 社内の計測で、第三者による検証はまだありません。