AWS 公布 Ray LLM Deep Learning Containers 的多节点部署方案，并用 Amazon EKS 演示同一个大模型如何跨两台 GPU 节点提供服务。应用面对的是一个 OpenAI 兼容接口，后台节点分别处理 prefill 和 decode，而不是把两个独立模型端点直接交给调用方。
prefill 会并行读取整段输入并建立 KV cache，计算压力较大；decode 逐 token 输出，更依赖内存带宽。两阶段共用 GPU 时，突发长提示可能打断已经开始生成的请求。示例把两阶段分开，允许团队为不同阶段选择硬件和服务配置，适用于长文摘要、RAG 和 Agent 等输入长度差异较大的负载。
预构建容器包含 Ray Serve LLM、NVIDIA Inference Transfer Library 和 Elastic Fabric Adapter 相关组件，减少团队自行拼接 CUDA、通信库与服务框架的工作。官方同时提供配套代码仓库。它解决的是分布式推理部署与依赖兼容问题，仍需要配置 Kubernetes 和 GPU 节点，并非在普通单机上直接获得多节点算力。