跳到正文
vLLM 官方博客· Inferact and the vLLM Team·· 18 小时前精选AI 评分89

vLLM 发布 Kimi K3.1 Pro Day-0 支持:稀疏注意力优化与多硬件适配

vLLM Delivers Day-0 Support for Kimi K3.1 Pro

AI 导读

vLLM 宣布为 Moonshot AI 的开源模型 Kimi K3.1 Pro 提供 Day-0 支持,覆盖 NVIDIA、AMD、Google TPU 和 Alibaba T-Head PPU。该版本引入稀疏注意力(DSA)以优化长上下文效率,并在预填充、解码并行及强化学习训练方面实现显著加速。官方提供了针对各硬件平台的快速启动命令及详细性能基准数据。

AI 推荐理由

vLLM官方详解Kimi K3.1 Pro的稀疏注意力优化与多硬件适配,提供可直接复用的部署命令及性能基准。

来源:vLLM 官方博客 · vllm.ai