AWS 工程团队公开 SageMaker AI 上的 fused MoE 推理内核优化。MoE 会按 token 选择部分专家参与计算，融合内核把路由、数据搬运和专家计算合并成 GPU 批处理，但推理时的小批量形状仍可能造成硬件利用不足。
第一项改动 Swap-AB 针对 Hopper 的 WGMMA 指令布局：解码阶段每条序列一次生成一个 token，矩阵的 token 维度可能远小于硬件偏好的 64 行，交换运算布局能减少闲置计算通道。团队还调整 FP8 量化相关的 Triton 后端路由，并处理重复 JIT 编译带来的等待，让相同计算更稳定地复用编译结果。
AWS 报告，这些改动在 H200 GPU 和文章所用的代表性 MoE 模型上，将吞吐最高提升约 10%，首 token 等待时间最高缩短约 9%。收益和 GPU 架构、模型形状、批量大小有关，其他实例与模型需要按自己的运行配置测量。它主要面向维护推理服务和 GPU 内核的开发者。