DeepSeek 于北京时间 2026 年 10 月 20 日 17:30 在 X 发布四条串推宣布 DeepInfer。据串推，这套框架以高吞吐、低延迟规模化支撑 DeepSeek-V4.1-Flash，DeepSeek 开放这套生产栈是为了帮社区降低算力成本和能耗，让 AI 更便宜。DeepSeek 还称，今后新模型的推理代码和持续优化也会放进同一个仓库。
这次放出了什么
据 GitHub 上的 DeepInfer README，这套框架目前只支持 DeepSeek-V4.1-Flash，默认权重是 DeepSeek-V4.1-Flash-1017，硬件只支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU，代码采用 Apache License 2.0 许可。
README 列出的功能包括优化内核、Attention DP 与 MoE 专家并行、DSpark 草稿解码与基于置信度的验证调度、SWA bounded replay、异步调度、批次不变推理、确定性采样和结构化输出。
README 致谢部分称，DeepInfer 最初主要基于 vLLM 构建，并参考了 SGLang 和 TensorRT-LLM。
同时开源的 deepseek-recipe，串推称是 DeepSeek 生产环境的 token 编码/解码组件，与官方 DeepSeek API 背后的处理逻辑对齐。据 deepseek-recipe 的 README，它是一组 Rust 库加 Python 绑定，负责把 DeepSeek V4、V4.1 的对话渲染成提示词，并把模型输出转换成各类 API 响应格式。该仓库采用 MIT 许可。
没有放出什么
DeepInfer README 写明本次提供的是离线推理，并列出完整推理服务需要、但本次未包含的三项：KV cache 系统、VE/Prefill/Decode 分离，以及 prefill 与 decode 各自数据并行副本之间的负载均衡。README 补充说，分离所需的大部分引擎功能已经实现。想用它在生产环境提供 V4.1 Flash 服务，这几块需要自行补齐。
性能
README 给出的是 DeepSeek 自测的 prefill 与 decode 吞吐曲线图，没有数字表格。据 DeepSeek，prefill 在 4 张 SM100 GPU 上测得，decode 在 64 张上测得，均位于同一个 scale-up domain 内，并提供了复现脚本。以上均为 DeepSeek 内部测试，尚无第三方验证。