本文目錄

NVIDIA 近期推出了推理微服務套件 NIM for LLM/VLM 的 2.1.6 版本更新(2026 年 11 月 14 日)。此次更新聚焦推理運行時與容器生態演進,將底層推理後端分別升級至 vLLM 0.32.0 與 SGLang 0.5.22,並同步更新了專用模型容器(Model-specific NIM)與通用容器(Model-free NIM)。

五款首次進入主線的模型與通用容器驗證

在此之前,部分前沿模型僅透過獨立的 variant 變體容器(如 2.1.4-variant)提供;在 2.1.6 中,以下五款模型正式迎來首個主線版本(first main release),而通用容器(nvidia/vllm-model-free-nim 與 nvidia/sglang-model-free-nim)也同步驗證了對 kimi-k3、minimax-m3、qwen3.8-flash-next(vLLM 後端)以及 glm-5.3-flash(SGLang 後端)的支援:

SGLang 後端主線容器模型:包含 deepseek-v4.1-flash(容器 deepseek-ai/deepseek-v4.1-flash,設定檔前綴由舊版 vllm- 變更為 sglang-)、inkling-small(容器 thinkingmachines/inkling-small,同樣切換為 sglang- 前綴)以及 muse-glimmer(容器 meta/muse-glimmer)。

vLLM 後端主線容器模型:包含 nemotron-3.5-super-vl-120b-a12b(容器 nvidia/nemotron-3.5-super-vl-120b-a12b)以及 qwen3.8-27b(容器 qwen/qwen3.8-27b)。

運行時清單快取、可選啟動預熱與安全修復

快取運行時清單(Cached Runtime Manifests):當 NIM_MODEL_PATH 指向遠程 URI(如 ngc:// 或 hf://)時,NIM 首次啟動會在 NIM_CACHE_PATH 下生成包含 nim_runtime_manifest.key.json 的運行時清單。在相同快取目錄、容器鏡像與模型路徑下重啟時,系統將直接復用該清單以減少重複網絡請求與鑒權開銷。官方建議生產環境中將 NIM_MODEL_PATH 固定在具體版本而非動態分支,升級鏡像後先在聯網環境啟動一次刷新快取,再遷移至離線隔離環境。

可選啟動預熱請求(Startup Warmup):開發者可透過顯式設置環境變數 NIM_STARTUP_WARMUP 為 1、true 或 yes 啟用啟動預熱(預設不開啟)。開啟後,NIM 會在推理後端報告健康後自動發送一條簡短的對話請求,待請求完成後再對外標記為 ready 就緒狀態。

跨鏡像安全漏洞修復:2.1.6 在 vLLM 與 SGLang 鏡像中共修復了 99 項獨立安全問題(含 10 個嚴重、30 個高危、45 個中危與 14 個低危),其中 vLLM 鏡像修復 91 項(包括將 Pillow 升級至 13.0.0 修復 40 項問題、nginx 升級至 1.31.7 修復 5 項問題,以及修復涉及 TLS / mTLS 場景的高危漏洞 CVE-2026-97629)。

部署限制與邊界提示

運行時容器更新而非模型首次上線,具體硬體組合需查閱支援矩陣:上述五款模型進入主線僅代表 NIM 標準容器支援狀態更新,並非模型權重首發;同時不同模型在特定 GPU 架構與量化格式上存在官方已知限制(例如 kimi-k3 在本版 vLLM model-free 容器上僅支援 NVIDIA GB300),部署前需對照官方支援矩陣與說明中的 Known Issues 核對配置。