SemiAnalysis 发布开源智能体推理基准 AgentX 1.0
SemiAnalysis 宣布推出 AgentX 1.0，这是全球首个完全开源的多轮智能体编码推理基准，支持百万级上下文长度，采用 Apache 2.0 协议发布。
推荐理由：SemiAnalysis 发布首个百万上下文智能体编码推理基准 AgentX，并开源了针对 vLLM、SGLang 等框架的数十项上游优化，为评估 AI 硬件在真实多轮长上下文负载下的性能提供了新标准。
技术方向
部署工程 最新动态
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
57 条精选近 30 天 30 条共收录 185 条
更新
精选归档 · 第 3 页
SemiAnalysis精选AI 评分8383
vLLM 官方博客精选AI 评分6868 vLLM-Omni 发布分布式逐层卸载方案以支持 200B+ DiT 模型
vLLM-Omni 推出 Distributed Layerwise Offload (DLO) 技术，使超过单设备 HBM 容量的视频生成模型（如 Cosmos3-Super 124 GB）能在多 GPU/NPU 上高效运行。
推荐理由：原文提供了在 vLLM-Omni 中运行超大 DiT 模型的具体配置命令与内存优化机制，适合需要解决显存瓶颈的工程人员参考。
vLLM 官方博客精选AI 评分6565 vLLM 官方博客详解 DSpark 自适应验证机制以优化投机解码
vLLM 引入 enable_adaptive_verification 功能，利用 DSpark 置信度头动态决定每步验证的草稿 token 数量，使投机解码在并发 256 时仍保持吞吐优势。
推荐理由：vLLM 官方详解自适应验证机制，通过动态调整草稿预算解决高并发下投机解码性能瓶颈，提供可复现的配置与基准数据。
vLLM 官方博客精选AI 评分8282 vLLM 宣布对 Qwen3.8-2.4T-A95B 提供 Day-0 支持
vLLM 团队宣布为 Qwen3.8-2.4T-A95B 提供 Day-0 支持，该模型基于 Qwen 3.5 架构，是首个开放权重的 Qwen-Max 级模型。
推荐理由：vLLM 官方提供了 Qwen3.8-2.4T-A95B 的 Day-0 支持细节，包括 FP4 量化权重、硬件优化内核及基准测试数据，有助于开发者评估大规模稀疏 MoE 模型的部署成本与性能。
Modal 官方工程博客精选AI 评分6363 Qwen3.8-2.4T-A95B 开源模型上线 Modal
Qwen3.8-2.4T-A95B 作为开放权重模型正式发布，并已在 Modal 平台提供 Shared Endpoint 支持。相比 Qwen 3.7，该模型在编码、工作、研究和长程任务上均有显著提升。Modal 与 Qwen 团队合作实现了 Day Zero 支持，底层基于 SGLang 和针对 Qwen3.8 架构定制的 DFlash speculator，以加速推理过程。
推荐理由：原文说明了新模型在Modal平台的即时可用性，以及通过自定义DFlash推测解码优化推理速度的具体技术实现。
vLLM 官方博客精选AI 评分8383 vLLM 宣布支持 NVIDIA Nemotron 3.5 Lightning 模型
vLLM 宣布对 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持。该模型采用 30B 总参数、3B 激活参数的混合 MoE 架构，专为始终在线的智能体设计，支持最高 100 万 token 上下文窗口。
推荐理由：原文给出了混合 MoE 架构、投机解码配置及多硬件部署指南，读者可据此评估其在智能体工作流中的效率与落地可行性。
vLLM 官方博客精选AI 评分6060 vLLM 官方博客详解 Qwen3.5 在 GB200 上达成 25K TPS/GPU 的优化与复现方法
vLLM 团队发布博客，展示如何通过解耦服务模式在 GB200 NVL72 系统上使 Qwen3.5-397B-A17B-NVFP4 模型达到超过 25,000 total TPS/GPU 的性能。
推荐理由：vLLM 团队公开了 Qwen3.5 在 GB200 NVL72 上实现 25K TPS/GPU 的解耦服务配置、关键优化补丁及复现配方，为高性能推理部署提供直接参考。
Berkeley AI Research精选AI 评分6262 K-Search 框架实现从 CUDA 到 MLX 的内核优化知识迁移
Berkeley AI Research 团队扩展 K-Search 框架并引入 MLX 后端，通过结构化 CUDA-to-MLX 翻译层自动迁移内核优化知识。该方法在 Apple Silicon 上使 Attention 内核达到原生 MLX 的 0.97x 速度，并在 Mamba SSM 内核 prefill 阶段相比社区实现获得最高 20x 加速。
推荐理由：原文展示了通过结构化翻译层将 CUDA 优化知识迁移至 Apple Silicon 的方法，实现了接近专家级的内核性能。
Together AI Blog精选AI 评分6868 Together AI 发布 ThunderAgent：面向大规模智能体推理的加速系统
Together AI 推出 ThunderAgent，一种用于高吞吐量智能体推理的系统，通过将每个智能体工作流抽象为可调度的程序来解决 KV cache 抖动问题。
推荐理由：ThunderAgent 通过程序级调度解决 KV cache 抖动，在合成数据生成中实现最高 2.5 倍吞吐提升且兼容现有引擎。
vLLM 官方博客精选AI 评分8383 vLLM 发布 Kimi K3 Day-0 高效支持指南
vLLM 宣布为开源多模态 MoE 模型 Kimi K3 提供 Day-0 支持，涵盖架构适配、内核优化及部署配方。在 16 张 NVIDIA GB300 NVL72 GPU 上，启用 DSpark 推测解码后单用户吞吐可达 370 tok/s，较无推测解码提升 3.14 倍。该支持包括混合前缀缓存、预填充/解码分离及 AMD ROCm 兼容，相关 Docker 镜像和详细配置已开放获取。
推荐理由：vLLM 官方给出了 Kimi K3 的 Day-0 支持细节与性能数据，开发者可据此评估其在生产环境中的部署可行性。
Together AI Blog精选AI 评分6868 Together AI 发布面向开源权重模型的专用推理平台
Together AI 推出 Dedicated Model Inference 平台，旨在为开源及微调模型提供兼顾控制权与易用性的生产级推理服务。该平台内置经过验证的部署配置文件，支持从 Hugging Face 或 S3 导入模型，并通过优化的缓存层实现约 4 倍的快速启动。
推荐理由：Together AI 推出专用推理平台，通过预优化配置和金丝雀发布机制，降低开源模型生产环境部署门槛并提升迭代安全性。
vLLM 官方博客精选AI 评分6666 vLLM官方博客：在24张NVIDIA B300 GPU上部署GLM-5.2并满足生产级SLA的实践指南
DaoCloud团队在vLLM官方博客发布文章，介绍了如何在24张NVIDIA B300 GPU上部署GLM-5.2-NVFP4模型以满足生产级SLA要求。通过采用分离式P/D架构、推测解码填充、Model Runner V2及IndexerCache等优化手段，将平均TPOT从约40ms降至17ms，同时保持TTFT低于2.5秒。
推荐理由：文章详细记录了在24张B300 GPU上部署GLM-5.2的全过程，提供了从TPOT优化到最终SLA达标的具体配置和命令。
Modal 官方工程博客精选AI 评分6060 Modal 与 Cognition 合作推出 Devin Outposts 支持在自定义沙箱中运行 AI 软件工程师
Cognition 推出 Devin Outposts，允许将 Devin 的执行环境迁移至用户可控的配置中，而推理仍保留在 Cognition 云端。Modal 作为首发合作伙伴提供 `modal-devin` 开源集成，使 Devin 会话能在 Modal Sandbox 中运行，利用其快速冷启动、GPU 按需分配及快照功能。
推荐理由：原文说明了 Devin Outposts 如何将执行环境移至用户控制的 Modal Sandbox，同时保留云端推理，并提供了开源集成工具的具体配置方法。
Modal 官方工程博客精选AI 评分6868 Modal 重构沙箱平台支持百万并发及每秒数万创建
Modal 宣布重建其核心沙箱平台，新系统支持数百万并发沙箱运行，并能以每秒数万个的速度创建沙箱。该架构移除了控制平面中的中心瓶颈，采用无协调的分布式调度设计，使调度路径简化为负载均衡器直接在计算节点上创建容器。实测显示，100 万个沙箱可在不到一分钟内全部创建完成，中位启动时间低于半秒。目前该系统已开放 Beta 测试，用户可通过简单代码修改启用。
推荐理由：原文展示了去中心化调度架构如何实现百万级沙箱并发与秒级创建，为高吞吐 Agent 基础设施提供了可参考的工程范式。
Modal 官方工程博客精选AI 评分6262 Modal 推出 Servers 功能实现超低延迟 HTTP 服务
Modal 正式推出 Servers 功能，专为 HTTP、WebSocket 和 gRPC 流量设计，旨在满足 LLM 推理等对毫秒级延迟敏感的应用场景。该功能通过移除请求路径中的队列和控制平面查找，将 p50 延迟从 39ms 降低至 6ms。
推荐理由：原文详细拆解了将 p50 延迟从 39ms 降至 6ms 的架构取舍，为低延迟推理服务提供了具体的工程参考。
Modal 官方工程博客精选AI 评分6868 Modal 发布 Auto Endpoints：提供可完全掌控的生产级 LLM 推理服务
Modal 推出 Auto Endpoints，允许用户通过单条命令部署兼容 OpenAI API 的生产级 LLM 推理服务，实现从 GPU 选择到引擎调优的全链路代码可见性。
推荐理由：原文展示了从黑盒 API 到可观测代码的推理服务范式转变，读者可以据此评估自建推理栈的成本与性能平衡。
Together AI Blog精选AI 评分6565 Together AI 发布 MiniMax M3 高效推理服务方案
Together AI 宣布作为 MiniMax M3 的首选云合作伙伴，通过深度性能优化支持该模型在生产环境中高效运行，并将在未来几天开放权重后直接提供端点服务。
推荐理由：Together AI 详细披露了 MiniMax M3 在稀疏注意力、KV 缓存管理及多模态预处理上的底层工程优化，展示了实现百万 token 上下文高效服务的具体技术路径。