AWS 推出 Ray LLM Deep Learning Containers 支持多节点推理

AWS 发布 Ray LLM Deep Learning Containers，支持在 Amazon EKS 上跨两个 GPU 节点部署大语言模型。该容器集成 vLLM、NIXL 和 EFA，通过分离 Prefill 与 Decode 阶段实现解耦推理，并暴露 OpenAI 兼容 API。