vLLM 于 10 月 18 日发布 0.32.0,汇集 363 位贡献者的 814 次提交。新版默认提供 POST /v1/systemone 端点,可围绕结构化状态回答 choice、noul 和 score 类型问题,并接入 clef-omni、LiquidAI d1-3B 与 DiffusionGemma。通用 hf 工具与推理解析器可读取检查点中的 response_template,减少逐模型维护专用解析器的需求。
推理内存优化继续扩展到更多硬件:NVFP4 KV 缓存覆盖 SM8x、SM12x 和 SM90 等架构,ROCm 增加四位 ultraquant_4bit KV 缓存。模型支持新增 EmbeddingGemma 2 全模态向量、MiniCPM-V 4.7,以及 Nemotron 3.5 ASR 完整音频转写;其中 ASR 的原生实时流式能力尚未提供。Transformers 建模后端则增加视频输入。
部署端新增下载预编译内核和保持 FlashInfer 自动调优表的能力,多模态大张量通过共享内存分发以减少复制。升级也包含明确的兼容性变化:Python 3.10 不再受支持,默认 CORS 来源收紧,部分旧编译、注意力与缓存配置被移除。安全修复还限制不可信图片格式,并拒绝嵌套超过 64 层的 JSON Schema。通用解析器同时覆盖 Python 与 Rust 前端,部署方可以沿用模型检查点自带的响应模板。模型服务的多进程入口还改用负载较低的工作进程承接新连接,以改善短请求场景下的分发。