vLLM 详解 Kimi K3 深度优化：实现 840 tokens/s 及快速响应维护策略
vLLM 官方博客发布 Kimi K3 的深度优化方案，通过 Agent 辅助开发构建统一 CuTe DSL decode 路径，在 16 张 NVIDIA GB300 GPU 上实现 batch 1 超过 840 tokens/s 的解码速度。
推荐理由：原文详细拆解了 Kimi K3 在 vLLM 中的底层优化逻辑与性能数据，并提出了平衡开发速度与稳定性的维护框架。
公司与模型
Kimi / 月之暗面 最新动态
月之暗面 Kimi 系列模型与产品动态：K 系列开源模型、长上下文技术与产品演进的追踪。
7 条精选近 30 天 2 条共收录 16 条
更新
Kimi / 月之暗面的精选
vLLM 官方博客精选AI 评分6868
vLLM 官方博客精选AI 评分6868 vLLM 详解 Kimi K3 在 AMD MI355X 上匹配 NVIDIA B300 吞吐量的优化过程
vLLM 官方博客发布技术复盘，详述如何通过六项核心优化使 Kimi K3 在八卡 AMD Instinct MI355X 系统上的每 GPU 吞吐量超越 NVIDIA HGX B300 24.4%，并在成本模型下实现每美元多产出 87.4% 的 token。文章深入解析了 DCP8 缓存分片、MoE 去重计算、KDA 状态并行化及 MLA 长上下文解码加速等具体工程决策与基准测试数据。
推荐理由：文章拆解了 Kimi K3 在 AMD MI355X 上的六项关键优化，提供了从缓存复用到内核融合的具体工程思路。
vLLM 官方博客精选AI 评分6565 vLLM 团队详解如何在 GB300 NVL72 上训练 Kimi-K3 最快的 DSpark 推测解码模型
vLLM 团队利用 Speculators 库在 GB300 NVL72 集群上成功训练了 Kimi-K3 的 DSpark 推测解码模型，将单流数学推理速度从约 110 tok/s 提升至约 435 tok/s。
推荐理由：原文详细拆解了基于GB300集群训练Kimi K3 DSpark草稿模型的全流程，提供了从数据提取到多节点部署的完整技术路径。
Together AI Blog精选AI 评分8787 Kimi K3 发布：2.8 万亿参数开源模型及 Together AI 使用指南
Moonshot AI 发布 Kimi K3，这是首个 3 万亿参数级别的开源权重模型，参数量达 2.8T，专为长程编码、知识工作和深度推理设计。该模型支持 1M 上下文窗口，采用 Kimi Delta Attention 和 Stable LatentMoE 等架构创新，在多项编码和智能体基准测试中表现接近前沿专有模型。
推荐理由：原文给出了 Kimi K3 的架构细节、Together AI 上的 API 调用示例和定价策略，开发者可以据此评估其在长上下文编码和推理任务中的实际可用性。
Together AI Blog精选AI 评分6565 Together AI 宣布与 Moonshot AI 达成战略合作以原生服务 Kimi 模型
Together AI 宣布与 Moonshot AI 建立战略合作伙伴关系，成为其模型发布的启动平台，首发支持 Kimi K3。Kimi K3 是迄今最大的开源模型，拥有 2.8T 参数稀疏 MoE 架构、原生视觉支持和 1M token 上下文窗口，通过 Kimi Delta Attention 和 Attention Residuals 等新技术提升解码速度和训练效率。
推荐理由：原文披露了合作细节及 Kimi K3 的架构特性，读者可据此评估开源大模型在长上下文与智能体工作流中的最新进展。
Modal 官方工程博客精选AI 评分7777 Modal 上线 Kimi K3 并实现 Day-0 支持
Moonshot 发布拥有 2.8T 参数、1M token 上下文窗口及原生视觉能力的开源多模态模型 Kimi K3，Modal 在发布当日即提供运行支持。通过定制 DFlash 投机解码器，该模型在 Modal 上实现了 460 tokens/s 的生成速度，较基准提升 360% 交互性且吞吐量提高 88%。
推荐理由：原文详述了针对Kimi K3架构定制的DFlash投机解码方案，展示了其在智能体工作负载下显著提升吞吐与响应速度的具体数据。
vLLM 官方博客精选AI 评分8383 vLLM 发布 Kimi K3 Day-0 高效支持指南
vLLM 宣布为开源多模态 MoE 模型 Kimi K3 提供 Day-0 支持，涵盖架构适配、内核优化及部署配方。在 16 张 NVIDIA GB300 NVL72 GPU 上，启用 DSpark 推测解码后单用户吞吐可达 370 tok/s，较无推测解码提升 3.14 倍。该支持包括混合前缀缓存、预填充/解码分离及 AMD ROCm 兼容，相关 Docker 镜像和详细配置已开放获取。
推荐理由：vLLM 官方给出了 Kimi K3 的 Day-0 支持细节与性能数据，开发者可据此评估其在生产环境中的部署可行性。