DeepSeek 於北京時間 2026 年 10 月 20 日 17:30 在 X 發布四則串文宣布 DeepInfer。據串文，這套框架以高吞吐、低延遲規模化支撐 DeepSeek-V4.1-Flash，DeepSeek 開放這套生產堆疊是為了幫社群降低算力成本和能耗，讓 AI 更便宜。DeepSeek 還稱，今後新模型的推理程式碼和持續最佳化也會放進同一個儲存庫。
這次釋出了什麼
據 GitHub 上的 DeepInfer README，這套框架目前只支援 DeepSeek-V4.1-Flash，預設權重是 DeepSeek-V4.1-Flash-1017，硬體只支援 NVIDIA SM100 GPU 和華為昇騰 950 NPU，程式碼採用 Apache License 2.0 授權。
README 列出的功能包括最佳化核心、Attention DP 與 MoE 專家平行、DSpark 草稿解碼與基於信心度的驗證排程、SWA bounded replay、非同步排程、批次不變推理、確定性取樣和結構化輸出。
README 致謝部分稱，DeepInfer 最初主要基於 vLLM 建構，並參考了 SGLang 和 TensorRT-LLM。
同時開源的 deepseek-recipe，串文稱是 DeepSeek 生產環境的 token 編碼／解碼元件，與官方 DeepSeek API 背後的處理邏輯對齊。據 deepseek-recipe 的 README，它是一組 Rust 函式庫加 Python 綁定，負責把 DeepSeek V4、V4.1 的對話渲染成提示詞，並把模型輸出轉換成各類 API 回應格式。該儲存庫採用 MIT 授權。
沒有釋出什麼
DeepInfer README 寫明本次提供的是離線推理，並列出完整推理服務需要、但本次未包含的三項：KV cache 系統、VE/Prefill/Decode 分離，以及 prefill 與 decode 各自資料平行副本之間的負載平衡。README 補充說，分離所需的大部分引擎功能已經實作。想用它在生產環境提供 V4.1 Flash 服務，這幾塊需要自行補齊。
效能
README 給出的是 DeepSeek 自測的 prefill 與 decode 吞吐曲線圖，沒有數字表格。據 DeepSeek，prefill 在 4 張 SM100 GPU 上測得，decode 在 64 張上測得，均位於同一個 scale-up domain 內，並提供了重現腳本。以上均為 DeepSeek 內部測試，尚無第三方驗證。