返回快讯列表
开源生态

PyTorch 生态一次收录 10 个新项目,含用 Rust 写的模型网关 SMG

PyTorch 基金会 8 月 26 日更新生态版图,一次收录 Perforated、AReaL、TorchJD、RLinf、Miles、SMG、FiftyOne、TokenSpeed、VisualTorch、TorchSurv 共 10 个项目。

PyTorch 基金会 8 月 26 日更新生态版图,一次收录 10 个项目,分别是 Perforated、AReaL、TorchJD、RLinf、Miles、SMG、FiftyOne、TokenSpeed、VisualTorch 和 TorchSurv。入选要走公开的评审流程,治理文档在 pytorch-fdn/tac 仓库。

推理服务这块有两个。SMG 是用 Rust 写的模型路由网关,前置 vLLM、TensorRT-LLM、TokenSpeed、SGLang 和 MLX,统一成 OpenAI 兼容端点,用基数树跟踪各 worker 的 KV cache 状态做缓存感知路由,自带 90 多个 Prometheus 指标和 OpenTelemetry 追踪。TokenSpeed 自称是第一个把控制平面和执行平面分开的开源推理引擎,控制平面用 C++ 有限状态机在编译期而非运行期强制资源安全,执行平面用 Python。

训练侧收了三个。Miles 是 RadixArk 维护的大规模后训练框架,深度集成 SGLang,支持 LoRA、TITO 和低精度训练。AReaL 走全异步强化学习,可以对接 vLLM、SGLang 和 PyTorch 原生的 5D 并行引擎。RLinf 面向具身和智能体方向,把机器人和 GPU 放进同一个工作流。

剩下几个偏工具。TorchJD 做多损失训练,支持标量化和雅可比下降两类方法。TorchSurv 是 PyTorch 原生的生存分析工具包,提供 Cox 比例风险与 Weibull AFT 可微损失,已经被收进美国食品药品监督管理局的监管科学工具目录。VisualTorch 通过追踪真实前向传播生成结构图。FiftyOne 覆盖图像、视频以及激光雷达和毫米波雷达传感器流。

文中的性能说法都来自项目方自述。Perforated 那句用现有数据把误差降低 70%,以及 SMG 和 TokenSpeed 的高性能,都没有附基准数据或对照组。生态版图现有项目总数、本季度申请数和通过率也没有公布。

更多快讯