本文目录

NVIDIA 近期发布了推理微服务套件 NIM for LLM/VLM 的 2.1.6 版本更新(2026 年 11 月 14 日)。此次更新聚焦推理运行时与容器生态演进,将底层推理后端分别升级至 vLLM 0.32.0 与 SGLang 0.5.22,并同步更新了专用模型容器(Model-specific NIM)与通用容器(Model-free NIM)。

五款首次进入主线的模型与通用容器验证

在此之前,部分前沿模型仅通过独立的 variant 变体容器(如 2.1.4-variant)提供;在 2.1.6 中,以下五款模型正式迎来首个主线版本(first main release),而通用容器(nvidia/vllm-model-free-nim 与 nvidia/sglang-model-free-nim)也同步验证了对 kimi-k3、minimax-m3、qwen3.8-flash-next(vLLM 后端)以及 glm-5.3-flash(SGLang 后端)的支持:

SGLang 后端主线容器模型:包含 deepseek-v4.1-flash(容器 deepseek-ai/deepseek-v4.1-flash,配置文件前缀由旧版 vllm- 变更为 sglang-)、inkling-small(容器 thinkingmachines/inkling-small,同样切换为 sglang- 前缀)以及 muse-glimmer(容器 meta/muse-glimmer)。

vLLM 后端主线容器模型:包含 nemotron-3.5-super-vl-120b-a12b(容器 nvidia/nemotron-3.5-super-vl-120b-a12b)以及 qwen3.8-27b(容器 qwen/qwen3.8-27b)。

运行时清单缓存、可选启动预热与安全修复

缓存运行时清单(Cached Runtime Manifests):当 NIM_MODEL_PATH 指向远程 URI(如 ngc:// 或 hf://)时,NIM 首次启动会在 NIM_CACHE_PATH 下生成包含 nim_runtime_manifest.key.json 的运行时清单。在相同缓存目录、容器镜像与模型路径下重启时,系统将直接复用该清单以减少重复网络请求与鉴权开销。官方建议生产环境中将 NIM_MODEL_PATH 固定在具体版本而非动态分支,升级镜像后先在联网环境启动一次刷新缓存,再迁移至离线隔离环境。

可选启动预热请求(Startup Warmup):开发者可通过显式设置环境变量 NIM_STARTUP_WARMUP 为 1、true 或 yes 启用启动预热(默认不开启)。开启后,NIM 会在推理后端报告健康后自动发送一条简短的对话请求,待请求完成后再对外标记为 ready 就绪状态。

跨镜像安全漏洞修复:2.1.6 在 vLLM 与 SGLang 镜像中共修复了 99 项独立安全问题(含 10 个严重、30 个高危、45 个中危与 14 个低危),其中 vLLM 镜像修复 91 项(包括将 Pillow 升级至 13.0.0 修复 40 项问题、nginx 升级至 1.31.7 修复 5 项问题,以及修复涉及 TLS / mTLS 场景的高危漏洞 CVE-2026-97629)。

部署限制与边界提示

运行时容器更新而非模型首次发布,具体硬件组合需查阅支持矩阵:上述五款模型进入主线仅代表 NIM 标准容器支持状态更新,并非模型权重首发;同时不同模型在特定 GPU 架构与量化格式上存在官方已知限制(例如 kimi-k3 在本版 vLLM model-free 容器上仅支持 NVIDIA GB300),部署前需对照官方支持矩阵与发布说明中的 Known Issues 核对配置。