vLLM 官方博客· AMD and Embedded LLM·· 3 天前精选AI 评分68
vLLM 详解 Kimi K3 在 AMD MI355X 上匹配 NVIDIA B300 吞吐量的优化过程
Scaling Kimi K3 on AMD Instinct MI355X: Matching NVIDIA HGX B300 Throughput per GPU on AgentX
AI 导读
vLLM 官方博客发布技术复盘，详述如何通过六项核心优化使 Kimi K3 在八卡 AMD Instinct MI355X 系统上的每 GPU 吞吐量超越 NVIDIA HGX B300 24.4%，并在成本模型下实现每美元多产出 87.4% 的 token。文章深入解析了 DCP8 缓存分片、MoE 去重计算、KDA 状态并行化及 MLA 长上下文解码加速等具体工程决策与基准测试数据。
推荐理由
文章拆解了 Kimi K3 在 AMD MI355X 上的六项关键优化，提供了从缓存复用到内核融合的具体工程思路。
来源：vLLM 官方博客 · vllm.ai