Hugging Face 于 10 月 19 日介绍 TorchNeuron,并宣布这套 AWS Trainium 原生 PyTorch 后端从 10 月 20 日进入公开测试。开发者可以安装 torch-neuronx,使用 neuron 设备运行模型,并继续采用 PyTorch 的即时执行、torch.compile 和分布式训练接口。
此前,Hugging Face 在 Trainium 和 Inferentia 上的集成主要依赖 Optimum Neuron,需要处理延迟张量、静态形状和图重编译等约束。新后端直接进入 PyTorch,Transformers、Diffusers、Accelerate、PEFT 与 TRL 可沿用原有类和脚本。Hugging Face 表示,最常用的一百种文本生成模型架构中,开箱支持比例达到百分之八十九,原先 Optimum Neuron 0.4.5 对应比例为百分之四十六。
Amazon 表示,TorchNeuron 支持 Trainium2 和 Trainium3,并采用 Apache 2.0 许可证开放。它与面向 Google TPU 的 TorchTPU 分别服务不同硬件,但共同降低开发者改换算力平台时的框架适配负担。