Google 与 Meta 的 PyTorch 团队于 10 月 20 日正式推出开源 TorchTPU,为 Google TPU 提供原生 PyTorch 后端。开发者可以沿用熟悉的张量、调试与分布式接口,把既有工作负载移向 TPU;官方把迁移需求描述为少量代码修改,而不是重新编写模型。
TorchTPU 优先支持 eager execution,便于逐步执行和排查问题,并通过 torch.compile 进一步优化生产性能。Hugging Face 同日宣布 Transformers、Diffusers 和 Kernels 原生支持 TPU,模型可使用对应的设备配置;Google 还列出 vLLM、SGLang、TorchTitan、Ray、TorchRec 和 llm-d 等合作项目,覆盖训练、推理和集群调度。
PyTorch 团队表示,当前后端已支持约 450 种 ATen 算子,包括主要深度学习架构所需的核心算子的前向和反向计算;也验证了 Hugging Face 下载量最高的 5,000 个模型可直接执行。项目还支持用 JAX/Pallas 或 Helion 编写自定义内核,已有部分 Google Cloud 大客户将其用于生产环境的训练和推理。