NVIDIA 发布 Nemotron 3.5 Lightning:面向高频智能体执行的 30B MoE 模型
NVIDIA 发布 Nemotron 3.5 Lightning,这是一款总参数 30B、激活参数约 3B 的混合 Mamba-2 和 MoE 架构模型,专为智能体工作流中高频、低延迟的执行步骤设计。
推荐理由:原文详细对比了 Nemotron 3.5 Lightning 与 Ultra 在智能体工作流中的分工,并提供了基于 OpenRouter 的路由策略及本地部署参数。
NVIDIA 发布 Nemotron 3.5 Lightning,这是一款总参数 30B、激活参数约 3B 的混合 Mamba-2 和 MoE 架构模型,专为智能体工作流中高频、低延迟的执行步骤设计。
推荐理由:原文详细对比了 Nemotron 3.5 Lightning 与 Ultra 在智能体工作流中的分工,并提供了基于 OpenRouter 的路由策略及本地部署参数。
Meta 的 Muse agent 通过操作系统层面的安全措施来防御提示注入攻击,而非仅依赖模型自身的训练数据。该智能体假设模型可能被欺骗,因此确保模型从不处理真实凭证,并将工具运行在隔离的 Linux 容器中。
推荐理由:原文介绍了 Meta Muse agent 在操作系统层面构建安全机制的方法,展示了不依赖模型自身训练来防御提示注入攻击的工程思路。
OpenRouter 发布技术解析,对比 TypeSafe 的决策模型 Jev 与传统 LLM-as-a-Judge 在 Agent 输出评估中的表现。测试显示,在证据完备的封闭标准下,Jev 与 LLM 判断器准确率相当,但具备更好的概率校准性,且成本仅为后者的 1/5,延迟为 1/10;而在需要长文本推理的开放标准(如摘要一致性)中,LLM 判断器与专家评分的相关性更高。
推荐理由:原文通过实测对比了 Jev 与 LLM-as-a-Judge 在准确率、校准度及成本上的差异,并给出了不同评估场景下的选型建议。
OpenRouter 发布技术指南,详细解析 TypeSafe 推出的非生成式决策模型 Jev(当前版本 typesafe/jev-1.13)的工作原理与使用方法。
推荐理由:原文通过真实 API 调用演示了 Jev 模型的三种决策原语及概率解读方法,为开发者提供了替代传统 LLM 加正则解析工作流的具体实现路径。
Descript 通过 OpenRouter 消除工程排队瓶颈,将新模型评估耗时从一周压缩至一两小时。团队利用 Claude Tag 在 Slack 中自动运行评测并创建 PR,实现每周多次高频测试。目前 Grok 4.5 已通过该路径在生产环境上线,且支持 Baseten 专用部署与多提供商故障回退。
vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 模型进行 PD Serving 优化,在 8K/1K 负载下实现每 GPU 5000 总 token 吞吐量及低延迟场景下每用户 180 生成 token。
OpenRouter 发布教程,指导开发者在分类、路由和验证等已知答案的任务中使用 TypeSafe 的 Jev 决策模型,而在需要生成文本时使用 LLM。基准测试显示,在处理支持工单时,Jev 的成本约为每千张 $0.0248,中位延迟 194ms,远低于 GPT Luna 和 Claude Opus。
推荐理由:原文通过基准测试对比了决策模型与生成式大语言模型在分类任务中的成本与延迟差异,并提供了结合两者构建低成本工单处理流水线的具体代码实现。
OpenRouter 对平台路由的 20 款图像生成模型进行了统一实测,记录了各模型在相同提示词下的实际计费、返回格式及参数限制。测试显示 openai/gpt-image-2 以 $0.006-$0.0135 成为最低成本选项,而 sourceful/riverflow-v2.5-pro 在 Design Arena 榜单中评分最高。
推荐理由:通过统一测试20个模型的实际计费与能力差异,提供了跨厂商图像生成的选型依据和成本对比方法。
某全球金融科技企业通过 Together AI 的 Dedicated Model Inference 服务,成功扩展基于 GLM-5.2 模型的编码智能体流量。
Included Health 基于 LangGraph 和 Deep Agents 构建了 Dot 超级图,实现多团队独立开发下的统一语音语调与上下文共享。该架构通过 Deep Agent 技能注册表动态加载临床能力,支持跨子工作流的无缝路由及第三方福利集成。
GitHub 使用 Copilot CLI 和 App 中的 AI Agent,将 Copilot agent runtime 从 TypeScript 重写为超过 80 万行生产级 Rust 代码。
推荐理由:文章详细复盘了利用 AI Agent 将 Copilot 运行时从 TypeScript 迁移至 Rust 的全过程,提供了大规模代码重构的增量策略、多会话并发协作模式及性能优化数据。
OpenRouter 发布教程,指导开发者使用 TypeScript SDK 构建可靠的工具调用智能体循环。该指南详细说明了如何定义工具、执行调用并返回结果,同时通过迭代上限和重复检测防止无限循环。文中还介绍了模型有序回退、Auto Exacto 提供商重排序以及集成 MCP 工具的方法,并对比了自建循环与使用 Agent SDK 的场景。
Madrigal Pharmaceuticals、Abridge 和 Vizient 展示了医疗 AI Agent 在证据综合、临床文档生成及数据查询中的落地实践。76% 的受访组织将可观测性、评估和成本控制视为赋予 Agent 更高自主权的前提,49% 正构建企业级中央 Agent 平台以整合碎片化应用。
Together AI 提出利用托管服务将闭源模型迁移至开源模型的策略,可将周期缩短至数周或数月。该流程涵盖发现、评估与实施阶段,建议通过重放现有流量进行自定义基准测试,以验证准确率与性能是否满足成本及延迟目标。
OpenRouter 指南指出 DeepSeek V4 并非单一模型,仅 V4.1 Flash 和 V4 Flash Vision Exp 支持原生图像输入,其余版本均为纯文本模型。针对不支持图像的 V4 Pro 等版本,文章演示了通过前置 Qwen3.8 或 Kimi K3 等视觉模型生成文本描述再传入 V4 的替代方案,并提供了相应的 TypeScript SDK 调用示例。
LangChain Blog 分享 Schneider Electric、Vodafone 和 monday.com 在构建生产级 AI Agent 时的基础设施经验。
LangChain 发布博客文章,详细解析了其内部 Paid Media Agent 的设计原理、技术挑战及优化策略。该智能体基于 LangChain Deep Agents 构建,通过 Slack 运行,整合广告平台数据与销售管道信息,实现自动化报告生成与实验提案。
推荐理由:LangChain 公开了 Paid Media Agent 的架构设计与工程细节,展示了如何通过分层上下文和代码隔离解决多平台数据对齐难题。
Google Developers Blog 发布零信任 AI Agent 系列第二部分,介绍如何在 Gemini Enterprise Agent Platform 上实施运行时治理以替代构建时控制。
Descript 通过 OpenRouter 作为生产推理层,将新模型评估时间从一周以上缩短至 1-2 小时。目前其视频编辑 Agent Underlord 在生产环境运行来自 Anthropic、Google、OpenAI 和 xAI 的 13 个模型,实现了从单一模型到多模型并行的快速迭代。
vLLM 团队利用 Speculators 库在 GB300 NVL72 集群上成功训练了 Kimi-K3 的 DSpark 推测解码模型,将单流数学推理速度从约 110 tok/s 提升至约 435 tok/s。
推荐理由:原文详细拆解了基于GB300集群训练Kimi K3 DSpark草稿模型的全流程,提供了从数据提取到多节点部署的完整技术路径。
Ai2 的 AutoDiscovery AI 智能体在华盛顿大学材料科学挑战中,通过分析数据集提出假设并按贝叶斯惊奇度排序结果。该工具在电池老化、硅聚合物及光敏蛋白研究中提供了线索,但在模拟核反应堆数据上表现不佳,仅对真实测量数据有效。学生需结合专业知识审查证据并验证假设,表明 AI 旨在加速发现而非替代人类判断。
LangChain 团队分享了基于 Deep Agents 框架构建 GTM Agent 的全过程,该智能体自动化处理从线索研究到邮件草稿生成的端到端流程。实施后销售转化率提升 250%,人均每月节省 40 小时,并实现了跨团队的有机采用。文章重点介绍了通过 LangSmith 进行追踪评估、利用 PostgreSQL 存储个性化记忆以及使用子代理并行处理账户情报的技术细节。
Credit Genie 采用 LangChain 开源智能体 OpenWiki,自动维护代码库文档并构建 GitHub Pages 门户。OpenWiki 每日检查提交差异并生成 PR,消除人工维护瓶颈。该方案同时服务团队成员与编码 Agent,确保上下文实时准确。
OpenRouter 发布教程介绍如何使用 LLM-as-a-Judge 方法自动评估 AI Agent 的输出质量。该指南详细说明了如何结合确定性测试与语义评分,并提供了基于 Ori Eval 工具的具体实施步骤、代码示例及最佳实践。
推荐理由:原文提供了使用 Ori Eval 实现 LLM-as-a-judge 的完整代码与配置,读者可据此快速搭建自动化评估流程。
vime 联合 RL-Kernel 在 AMD Instinct MI300X 上实现 Qwen3-8B GRPO 训练与推理的位级数值一致性。该方案通过统一 Megatron 与 vLLM 的数值执行契约,在 200 步连续实验中保持 mismatch_count = 0 且 max_abs_diff = 0。
vLLM 官方博客发布 Kimi K3 性能优化指南,通过全栈调整将吞吐量提升至 2.8 倍并降低延迟。文章重点解析自适应推测解码预算、内部 KDA 前缀检查点、零拷贝混合批次及延迟 MXFP4 最终化等关键改进,并涵盖 ReplaySSM 状态重构、PD 分离及解码上下文并行等技术细节。
OpenRouter 阐明 ZDR 仅防止推理提供商存储提示与响应,不涵盖数据传输、第三方工具或应用日志。用户可通过账户设置、护栏或 `provider.zdr` 字段强制启用该策略。需注意 ZDR 与“不训练”政策不同,且内存缓存兼容 ZDR,但响应缓存需单独审查配置。
Google 推出 autofinetune 项目,展示如何利用 AI 智能体在 Cloud TPUs 上自主执行 LLM 后训练(SFT 和 GRPO)。该项目基于 Tunix、Gemma 和 Antigravity CLI,通过定义 `program.md` 约束和 `run.py` 脚本,让智能体自动迭代超参数并提交改进。
OpenRouter 发布文本转语音(TTS)API 教程,支持通过 POST /api/v1/audio/speech 端点调用 Mistral、xAI 和 Microsoft 等多家提供商的模型。该接口兼容 OpenAI SDK,只需修改 base_url 即可使用同一请求结构生成音频,并详细说明了响应验证、流式传输及生产环境中的重试策略。
vLLM 在 AMD Instinct MI355X 上优化 MiniMax M3,并发 32 时 MXFP8 标准服务输出吞吐量从 109.1 提升至 342.4 tokens/s/GPU,达 day-0 结果的 3.14 倍。通过 EAGLE3 投机解码及 P/D 分离等策略,并发 128 下 TP2/EP1 路径最高达 943.5 tokens/s/GPU,较初始结果提升 4.45 倍。
Together AI 将 ThunderKittens 移植至 NVIDIA Vera Rubin NVL72 平台,利用新 ISA 特性优化 GEMM 内核。
OpenRouter 推出名为 Fusion 的复合模型功能,允许单个提示词触发多个专家模型的并行回答与裁判对比,以生成更高质量的最终答案。默认三模型面板的成本约为单次调用的四到五倍,延迟增加两到三倍,适用于高价值研究或决策场景而非实时交互。
推荐理由:官方详解多模型辩论机制与成本权衡,提供 API 调用示例及适用场景边界,帮助开发者评估是否引入该复合推理能力。
Mistral AI 协助一家欧洲能源运营商将 40,000 行 Fortran 77 代码迁移至 C++,通过构建数值一致性测试框架和文档化流程确保迁移质量。团队发现完全自主的智能体难以实现真正的架构重构,最终采用包含规划、编码、测试和审查的结构化工作流,并在关键节点引入人工审核以解决阻塞问题。这一实践表明,在大规模遗留系统现代化中,预先建立验证机制和人机协作模式比单纯依赖自动化更为有效。
Google Developers Blog 发布文章详解 AI 编码智能体的 Harness Engineering,主张使用行为评估(Behavioral Evaluations)替代传统的端到端基准测试以解决调试困难问题。
Together AI 发布指南详解开发者转向开源模型所需的五层技术栈:模型、推理、网关、Harness 和工具。文章对比了 Kimi K3 等大模型与 GLM 5.3 Flash 等小模型的适用场景,并介绍了通过 OpenRouter 或 LiteLLM 实现灵活路由的方法。
推荐理由:原文拆解了从模型到工具的五层架构,为开发者提供了将闭源工作流迁移至开源栈的具体选型思路。
LangChain 在 deepagents 框架中引入了子智能体的上下文模式,支持“isolated”(隔离)和“fork”(分叉)两种配置以优化多智能体协作。
推荐理由:原文详细拆解了 forked 与 isolated 两种子智能体上下文模式的适用场景,为多智能体架构中的上下文管理提供了具体实现参考。
vLLM 推出针对 GLM 5.3 的 Hybrid HiSparse 优化方案,通过混合稀疏 KV 缓存卸载机制,使模型在单个 8× H200 节点上实现全量 100 万 token 上下文运行并显著提升并发能力。
推荐理由:vLLM 官方详解 Hybrid HiSparse 在 GLM 5.3 上的稀疏 KV 缓存卸载机制,提供单节点百万上下文高并发推理的实测数据与复现命令。
vLLM 团队联合 Inferact 发布技术博客,针对智能体工作负载的多轮会话、长上下文和高前缀复用特性,阐述了涵盖 KV 缓存管理、并行策略及 P/D 分离的全栈优化方案。
推荐理由:原文详细拆解了智能体负载下的全栈优化策略,并提供了基于公开基准的实测数据与失败经验复盘。
Sierra 发布呼叫中心 AI 运营指南,强调将部署视为运营模式变革,需先设定基线与扩展标准再迁移流量。该方案支持跨语音、消息及邮件的统一 Agent,通过自然语言路由和实时辅助优化全渠道体验。实施核心在于定义路由逻辑、队列行为及故障恢复机制,确保在真实音频条件下验证转录与会话恢复能力。
Google Cloud 的 Gemini Enterprise 开发者体验(DevEx)计划通过模拟真实用户旅程,重点优化了智能体治理的五步端到端工作流。团队修复了 Agent Gateway 配置、Model Armor 安全默认值及语义治理网络设置中的摩擦点,并简化了 IAM 策略编译与监控查询流程。