vLLM 在 GB300 NVL72 集群上实现 Qwen3.8-2.4T PD Serving 性能突破
vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 模型进行 PD Serving 优化,在 8K/1K 负载下实现每 GPU 5000 总 token 吞吐量及低延迟场景下每用户 180 生成 token。
vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 模型进行 PD Serving 优化,在 8K/1K 负载下实现每 GPU 5000 总 token 吞吐量及低延迟场景下每用户 180 生成 token。
OpenRouter 发布教程,指导开发者在分类、路由和验证等已知答案的任务中使用 TypeSafe 的 Jev 决策模型,而在需要生成文本时使用 LLM。基准测试显示,在处理支持工单时,Jev 的成本约为每千张 $0.0248,中位延迟 194ms,远低于 GPT Luna 和 Claude Opus。
推荐理由:原文通过基准测试对比了决策模型与生成式大语言模型在分类任务中的成本与延迟差异,并提供了结合两者构建低成本工单处理流水线的具体代码实现。
Anthropic 官方账号发布了最新行业动态。该消息由当事方直接披露,确立了其在当前时间节点的战略或业务进展。
Google Research 推出 MilleMiglia,这是一个用 C++ 编写的开源实例生成器,旨在为中间里程物流问题创建逼真的基准数据。该工具通过模拟复杂的同步约束和隐私保护数据,解决了因缺乏高质量公开数据而阻碍学术研究的问题。源代码及文档已在 GitHub 上开放获取。
GitHub Podcast 驳斥“RAG 已死”和“Skills 杀死 MCP”等观点,指出三者解决不同问题且可共存于同一工作流。MCP 提供工具连接标准,Skills 封装团队专业知识,RAG 负责检索外部上下文以辅助生成。文章强调开发者仍需审查 AI 代码并具备判断力,而非盲目依赖或完全拒绝 AI 工具。
OpenRouter 对平台路由的 20 款图像生成模型进行了统一实测,记录了各模型在相同提示词下的实际计费、返回格式及参数限制。测试显示 openai/gpt-image-2 以 $0.006-$0.0135 成为最低成本选项,而 sourceful/riverflow-v2.5-pro 在 Design Arena 榜单中评分最高。
推荐理由:通过统一测试20个模型的实际计费与能力差异,提供了跨厂商图像生成的选型依据和成本对比方法。
某全球金融科技企业通过 Together AI 的 Dedicated Model Inference 服务,成功扩展基于 GLM-5.2 模型的编码智能体流量。
vLLM 通过集成 PyNvVideoCodec 启用 NVIDIA GPU 硬件视频解码,消除 CPU 瓶颈并支持 Qwen3-VL-8B-Instruct 等模型在多 GPU 节点高效运行。在 8xH100 配置下,该方案使视频字幕任务吞吐量较 CPU 解码提升超两倍,显著优化大规模自动驾驶数据标注效率。
为了展示这些优化带来的可能性,我们正与 Adaptyv Bio 合作举办一场蛋白质设计竞赛。我们将共同对超过 5,000 个设计方案进行实验验证。我们将提供高达 $1 million 的 Claude credits,并与 Adaptyv 共同资助
生物学家使用专门的开源模型来执行诸如分子系统结构建模、设计类药分子以及预测基因突变影响等任务。但这些模型的运行成本往往高昂,可能会限制其影响力。在我们的最新
Google Research 推出新研究实验,允许教师通过生成式用户界面(GenUI)创建定制化的交互式教育模拟。该方案结合游戏化设计与教学护栏,已发布包含物理、化学等 STEM 学科的 30 多个示例库,并启动面向 Google Workspace for Education 学校的试点计划。
推荐理由:原文展示了利用生成式 UI 动态构建教育模拟器的技术路径与教师实测反馈,为理解 AI 如何降低互动内容制作门槛提供了具体案例。
AI 系统正变得更强大,且日益被用于构建其下一代版本。我们希望向公众阐明这一进展。今天,我们分享三个有助于追踪 AI 发展的指标:1. AI 在多大程度上完成了 AI 研发工作。2. How
OpenAI 发布 Astra for Law,将 GPT-6 Astra 与法律分析及写作指令、深度工作设置相结合。该功能引入了新的 Legal Search Index,可搜索美国判例法、法规、法院规则及行政决定,覆盖超过 2.3 亿个 URL。
面向法律行业的 Astra:专为您的业务打造的前沿智能。由 GPT-6 Astra 驱动的新产品,配备工具、设置和上下文,以支持律师和法律科技公司的专业知识与判断力。
Anthropic 正式开放生命科学验证计划(LSVP)的申请。通过该计划,生命科学专业人士可以使用 Anthropic 的模型,包括首次提供的 Mythos,并配备专为支持各类生物学相关工作设计的新安全护栏。
Included Health 基于 LangGraph 和 Deep Agents 构建了 Dot 超级图,实现多团队独立开发下的统一语音语调与上下文共享。该架构通过 Deep Agent 技能注册表动态加载临床能力,支持跨子工作流的无缝路由及第三方福利集成。
LangChain 推出开源智能体助手 Deep Life Sci,专为临床和实验室科学家设计,基于 Deep Agents harness 构建。该工具可访问 ClinicalTrials.gov、PubMed 等数据源,支持上传多种格式文件并通过子代理并行处理文档。
推荐理由:原文展示了针对生命科学领域的开源智能体助手,提供了从文献检索到临床文档审核的具体工作流示例及定制化路径。
Sierra 通过 Schellman 独立审计及 AIUC 测试,正式获得专为 AI 智能体设计的 AIUC-1 认证。该标准重点评估智能体在对抗性场景下的行为安全性,验证其防操纵与数据保护能力。此认证补充了 Sierra 现有的 SOC 2 Type II、ISO 27001 和 ISO 42001 资质,确保企业级智能体在全生命周期内的安全可信。
Northeastern 学生利用 Steering Arena 众包游戏测试 Olmo 3-32B,发现高分文本多为无意义 token 串而非自然语言。该评测基于 135 对对比文本识别亲社会内部模式,显示开放权重模型可暴露传统评估未预见的优化漏洞。
GitHub 使用 Copilot CLI 和 App 中的 AI Agent,将 Copilot agent runtime 从 TypeScript 重写为超过 80 万行生产级 Rust 代码。
推荐理由:文章详细复盘了利用 AI Agent 将 Copilot 运行时从 TypeScript 迁移至 Rust 的全过程,提供了大规模代码重构的增量策略、多会话并发协作模式及性能优化数据。
Google 宣布与 Speakeasy 合作,将其 OpenAPI 代码生成套件在 AGPLv3 许可下开源,以解决专有 SDK 生成工具停服带来的平台风险。
推荐理由:原文披露了因专有工具停服引发的迁移背景,并详细列出了新开源生成器支持的语言、CLI及MCP服务器能力。
OpenRouter 发布教程,指导开发者使用 TypeScript SDK 构建可靠的工具调用智能体循环。该指南详细说明了如何定义工具、执行调用并返回结果,同时通过迭代上限和重复检测防止无限循环。文中还介绍了模型有序回退、Auto Exacto 提供商重排序以及集成 MCP 工具的方法,并对比了自建循环与使用 Agent SDK 的场景。
我原本对本周的发布感到兴奋,但它将推迟到下周,不过我认为值得等待!
Madrigal Pharmaceuticals、Abridge 和 Vizient 展示了医疗 AI Agent 在证据综合、临床文档生成及数据查询中的落地实践。76% 的受访组织将可观测性、评估和成本控制视为赋予 Agent 更高自主权的前提,49% 正构建企业级中央 Agent 平台以整合碎片化应用。
Mistral 宣布与 Mozilla 合作,其模型将驱动 Firefox Smart Window(beta)AI 浏览助手。该功能率先在法国和北美上线,支持多语言微调以适配本地语境,并默认不保存对话且实行零数据保留策略。
Together AI 提出利用托管服务将闭源模型迁移至开源模型的策略,可将周期缩短至数周或数月。该流程涵盖发现、评估与实施阶段,建议通过重放现有流量进行自定义基准测试,以验证准确率与性能是否满足成本及延迟目标。
OpenRouter 指南指出 DeepSeek V4 并非单一模型,仅 V4.1 Flash 和 V4 Flash Vision Exp 支持原生图像输入,其余版本均为纯文本模型。针对不支持图像的 V4 Pro 等版本,文章演示了通过前置 Qwen3.8 或 Kimi K3 等视觉模型生成文本描述再传入 V4 的替代方案,并提供了相应的 TypeScript SDK 调用示例。
Google 在 Gemini Enterprise Agent Platform 上推出 Agent Anomaly Detection 私有预览,该功能基于推理追踪和工具调用日志检测智能体行为异常。它支持 ADK 1.2+,覆盖 OWASP Agentic Top 10 风险,异步运行不增加延迟,并将发现同步至 Security Command Center。
Google Research 在 ICML 2026 论文中提出 Retrieve-for-Train 框架,利用离线强化学习将查询分解行为编译为轻量级扩散检索器。该方法消除了推理时生成数百个思维链 token 的延迟瓶颈,实现单次高效查询扇出。通过奖励对齐的数据编译,系统能在保持结果多样性与覆盖度的同时,满足生产环境亚秒级响应需求。
Google DeepMind 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking 两款最新实时对话模型,旨在提升语音智能体的推理能力与交互流畅度。
推荐理由:原文给出了两款新实时对话模型在智能体任务完成率和多语言切换上的具体基准数据,以及面向开发者与企业的分阶段开放入口。
本周有大事,随后是 DevDay
LangChain Blog 分享 Schneider Electric、Vodafone 和 monday.com 在构建生产级 AI Agent 时的基础设施经验。
LangChain 发布博客文章,详细解析了其内部 Paid Media Agent 的设计原理、技术挑战及优化策略。该智能体基于 LangChain Deep Agents 构建,通过 Slack 运行,整合广告平台数据与销售管道信息,实现自动化报告生成与实验提案。
推荐理由:LangChain 公开了 Paid Media Agent 的架构设计与工程细节,展示了如何通过分层上下文和代码隔离解决多平台数据对齐难题。
Google Developers Blog 发布零信任 AI Agent 系列第二部分,介绍如何在 Gemini Enterprise Agent Platform 上实施运行时治理以替代构建时控制。
Descript 通过 OpenRouter 作为生产推理层,将新模型评估时间从一周以上缩短至 1-2 小时。目前其视频编辑 Agent Underlord 在生产环境运行来自 Anthropic、Google、OpenAI 和 xAI 的 13 个模型,实现了从单一模型到多模型并行的快速迭代。
vLLM 团队利用 Speculators 库在 GB300 NVL72 集群上成功训练了 Kimi-K3 的 DSpark 推测解码模型,将单流数学推理速度从约 110 tok/s 提升至约 435 tok/s。
推荐理由:原文详细拆解了基于GB300集群训练Kimi K3 DSpark草稿模型的全流程,提供了从数据提取到多节点部署的完整技术路径。
Novita AI 开源高性能 W4A16 MoE CUDA 算子 Chord,专为 Kimi K2.x 服务形状设计。该算子在 H200 EP8 解码场景下较 Humming 默认配置提速 1.16–1.24x,在 B300 EP8 解码场景下提速达 1.81–2.15x。
Ai2 的 AutoDiscovery AI 智能体在华盛顿大学材料科学挑战中,通过分析数据集提出假设并按贝叶斯惊奇度排序结果。该工具在电池老化、硅聚合物及光敏蛋白研究中提供了线索,但在模拟核反应堆数据上表现不佳,仅对真实测量数据有效。学生需结合专业知识审查证据并验证假设,表明 AI 旨在加速发现而非替代人类判断。
AI 进展有两种可能走向非常糟糕的情况,我们必须避免。首先,我们可能会将未来的控制权交给 AI。这是不可接受的;我们毫不掩饰地站在人类这一边,AI 必须始终服务于人。为了确保这一点,我们需要确保对齐和
世界需要确信,开发日益强大 AI 的美国公司将负责任地行事,尤其是在进步轨迹加速的背景下。每个前沿实验室都必须履行这一承诺,如果我们做不到,就没有理由来上班。我们