返回快讯列表
开源生态

DeepSeek 开源生产推理框架 DeepInfer,首批支持 V4.1 Flash

DeepSeek 开源其生产推理核心框架,支持 NVIDIA SM100 和华为昇腾 950。当前发布覆盖离线推理,完整在线服务仍需补齐缓存与调度组件。

DeepSeek 于10月20日公开 DeepInfer,把支撑其大规模生产服务的推理核心交给开发者。官方仓库使用 Apache-2.0 许可证,首批支持 DeepSeek-V4.1-Flash,默认检查点为 Flash-1017。这次新闻的增量在运行模型的基础设施,而不是再发布一款新的语言模型。

DeepInfer 提供异步调度、并行计算、DSpark 加速、结构化输出等能力,官方列出的硬件为 NVIDIA SM100 GPU 和华为昇腾950 NPU。批次不变推理与确定性采样也进入支持范围,但相关模式有硬件和配置条件,不能由此推断所有设备均可直接获得相同结果。

开源范围同时划出了明确边界:当前提供离线推理与核心引擎,完整在线服务需要的 KV 缓存系统、Prefill/Decode 解耦和跨副本负载均衡仍需补齐。这让部署团队能够研究官方优化路径、减少重复开发,但不能直接把仓库等同于开箱即用的商用 API 服务。官方还说明框架最初主要基于 vLLM 构建。

更多快讯