OpenRouter 推出 Security Center 以管理并降低 API 密钥风险
OpenRouter 上线 Security Center，提供跨工作区查看、批量禁用或归档 API 密钥的功能。该工具基于元数据评估密钥风险，支持设置消费限额及 IP 白名单（Enterprise 计划），且不读取用户提示词内容。
#部署/工程
OpenRouter Announcements· AI 生成AI 评分4040
DeepLearning.AI· AI 生成AI 评分3333 Andrew Ng谈AI工程测试策略
早期 AI 项目不需要严格的测试，但成熟产品需要。Andrew Ng 解释了为什么 AI 工程战术必须适应项目生命周期。本周 The Batch 还包括：Claude Opus 5.5 性能指标、Jev 分类模型走红以及 Devin
LangChain Blog· AI 生成AI 评分4242 LangSmith 推出 Trajectories：提供 Agent 会话的可读时间线视图
LangSmith 发布 Trajectories 功能，将多轮 Agent 会话中的消息与动作按时间顺序聚合为可读视图。该功能支持对轨迹进行在线评估、路由至标注队列及导出用于监督微调，目前已在所有美国计划中可用。
vLLM 官方博客· AI 生成精选AI 评分6262 vLLM 发布原生文本水印功能
vLLM 正式支持基于 Gumbel-max 算法的无失真文本水印功能，允许用户在模型推理时嵌入可检测的来源信号而不改变输出分布。该实现深度集成于 Model Runner v2 采样管线，通过 GPU 内核融合技术将吞吐影响控制在 ±2% 以内，并采用双密钥机制解决与推测解码的冲突及重复上下文导致的多样性下降问题。
AI 推荐理由：vLLM 原生集成 Gumbel-max 水印算法，在保持零输出失真和极低延迟开销的同时，解决了与推测解码的兼容性及生成多样性问题。
Modal 官方工程博客· AI 生成精选AI 评分6868 Modal 发布 Quail：联合优化查询规划器与推理引擎以加速 AI-SQL
Modal 推出名为 Quail 的推理引擎，专门用于加速 AI-SQL 工作负载，在单张 H100 GPU 上实现超过 10 亿 tokens/min 的处理速度，比 vLLM 基线快 10 倍以上。
AI 推荐理由：原文展示了针对 AI-SQL 负载的专用推理引擎 Quail，通过联合优化查询计划与推理过程实现显著性能提升。
Google Developers Blog· AI 生成精选AI 评分6363 Google团队在TPU上使用MaxText复现Olmo 3 7B预训练的案例研究
Google团队使用MaxText框架在Google Cloud TPUs上成功复现了Ai2开发的Olmo 3 7B模型的Stage-1预训练和Stage-2中训练。
AI 推荐理由：文章详细记录了在TPU上复现大模型预训练的过程，揭示了仅看训练损失可能掩盖数据加载器Bug的风险，并提供了跨框架验证的具体方法。
Anthropic Claude.dev 开发者博客· AI 生成精选AI 评分8787 Anthropic 分享如何利用 Claude 将 claude.ai 性能提升三倍
Anthropic 团队通过两周冲刺，利用 Claude Tag（beta）内部研究模型优化核心用户旅程，使 claude.ai 和桌面应用响应速度提升约 3 倍。该过程涉及建立确定性基准、自动化代码审查及持续监控，最终合并超过三千个变更且无客户可见事故。
AI 推荐理由：原文详述了利用 Claude Agent 在两周内实现性能提升三倍的具体工程闭环，展示了从基准测试到自动化部署的完整实践路径。
Modal 官方工程博客· AI 生成精选AI 评分6565 Modal 分享如何为万亿参数编码智能体服务万亿 token 的推理优化实践
Modal 官方博客分享了针对 Moonshot AI Kimi K2.6 等万亿参数模型的推理服务优化方案，实现了单副本性能提升 2.8x（每用户）和 5.6x（跨用户）。
AI 推荐理由：原文详细拆解了万亿参数模型在编码智能体场景下的推理优化路径，提供了从单副本调优到多副本路由的完整工程实践参考。
Together AI Blog· AI 生成精选AI 评分6262 Together AI 教程：如何以 $17 成本训练自己的 Jev 分类模型
Together AI 发布教程指导用户以约 $17 的成本和 25 分钟时间，基于 Qwen3.5 4B 微调一个类似 Jev 的分类模型。该过程涉及从 Hugging Face 采样 38,000 条多源数据、使用 Together Fine-tuning service 训练以及部署到 dedicated endpoint。
AI 推荐理由：原文提供了基于 Qwen3.5 4B 微调分类模型的完整代码流程与成本细节，读者可据此复现低成本构建专用分类器的方法。
LangChain Blog· AI 生成AI 评分3838 LangSmith 在医疗 AI 中的可靠性应用案例
Included Health 和 Abridge 利用 LangSmith 将临床专家审查转化为可复用的评估资产，以解决医疗 AI 验证瓶颈。Included Health 通过 LangGraph 构建 Dot 智能体处理复杂咨询，Abridge 则建立校准评判器确保病历生成的准确性与合规性。该方案旨在保留人类判断价值并加速安全发布。
Together AI Blog· AI 生成精选AI 评分6868 Together AI 推出 Canary Rollouts 实现生产环境模型零停机升级
Together AI 发布 Canary Rollouts 功能，允许在生产环境中通过分阶段流量迁移无缝升级模型，无需停机或手动干预。该功能支持 Canary、Blue-green 和 Rolling 三种策略，内置健康检查和延迟回归门控，确保新模型在满足性能标准后才逐步接管全部流量。
AI 推荐理由：Together AI 推出生产环境模型金丝雀发布功能，通过自动化流量切换和指标门控实现零停机升级。
vLLM 官方博客· AI 生成精选AI 评分8282 vLLM 发布 vllm-metal：支持 Apple Silicon 上的并发推理服务
vLLM 团队正式发布 vllm-metal，将 vLLM 的调度器、分页 KV 缓存和 OpenAI 兼容服务器引入 Apple Silicon，底层由 MLX 和 Metal 执行。
AI 推荐理由：vLLM 官方发布适配 Apple Silicon 的推理引擎，通过 Metal 内核优化并发调度与内存管理，显著降低本地多请求场景下的首字延迟。
OpenRouter Announcements· AI 生成AI 评分3636 Descript 借助 OpenRouter 将模型评估周期从一周缩短至两小时
Descript 通过 OpenRouter 消除工程排队瓶颈，将新模型评估耗时从一周压缩至一两小时。团队利用 Claude Tag 在 Slack 中自动运行评测并创建 PR，实现每周多次高频测试。目前 Grok 4.5 已通过该路径在生产环境上线，且支持 Baseten 专用部署与多提供商故障回退。
vLLM 官方博客· AI 生成AI 评分4040 vLLM 在 GB300 NVL72 集群上实现 Qwen3.8-2.4T PD Serving 性能突破
vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 模型进行 PD Serving 优化，在 8K/1K 负载下实现每 GPU 5000 总 token 吞吐量及低延迟场景下每用户 180 生成 token。
Together AI Blog· AI 生成AI 评分2727 全球金融科技巨头如何利用 Dedicated Model Inference 扩展 GLM-5.2 编码智能体流量
某全球金融科技企业通过 Together AI 的 Dedicated Model Inference 服务，成功扩展基于 GLM-5.2 模型的编码智能体流量。
vLLM 官方博客· AI 生成AI 评分3737 vLLM 集成 PyNvVideoCodec 实现多 GPU 视频字幕生成硬件解码加速
vLLM 通过集成 PyNvVideoCodec 启用 NVIDIA GPU 硬件视频解码，消除 CPU 瓶颈并支持 Qwen3-VL-8B-Instruct 等模型在多 GPU 节点高效运行。在 8xH100 配置下，该方案使视频字幕任务吞吐量较 CPU 解码提升超两倍，显著优化大规模自动驾驶数据标注效率。
Google Developers Blog· AI 生成精选AI 评分7070 Google 与 Speakeasy 合作开源 OpenAPI 代码生成套件
Google 宣布与 Speakeasy 合作，将其 OpenAPI 代码生成套件在 AGPLv3 许可下开源，以解决专有 SDK 生成工具停服带来的平台风险。
AI 推荐理由：原文披露了因专有工具停服引发的迁移背景，并详细列出了新开源生成器支持的语言、CLI及MCP服务器能力。
Together AI Blog· AI 生成AI 评分3535 Together AI 指导从闭源模型向开源模型的迁移策略
Together AI 提出利用托管服务将闭源模型迁移至开源模型的策略，可将周期缩短至数周或数月。该流程涵盖发现、评估与实施阶段，建议通过重放现有流量进行自定义基准测试，以验证准确率与性能是否满足成本及延迟目标。
LangChain Blog· AI 生成AI 评分3333 LangChain 解析欧洲及中东企业 Agent 规模化实践：施耐德、沃达丰与 monday.com 案例
LangChain Blog 分享 Schneider Electric、Vodafone 和 monday.com 在构建生产级 AI Agent 时的基础设施经验。
LangChain Blog· AI 生成精选AI 评分7878 LangChain 详解 Paid Media Agent 构建过程与工程经验
LangChain 发布博客文章，详细解析了其内部 Paid Media Agent 的设计原理、技术挑战及优化策略。该智能体基于 LangChain Deep Agents 构建，通过 Slack 运行，整合广告平台数据与销售管道信息，实现自动化报告生成与实验提案。
AI 推荐理由：LangChain 公开了 Paid Media Agent 的架构设计与工程细节，展示了如何通过分层上下文和代码隔离解决多平台数据对齐难题。
OpenRouter Announcements· AI 生成AI 评分3232 Descript 借助 OpenRouter 将新模型评估周期缩短至数小时
Descript 通过 OpenRouter 作为生产推理层，将新模型评估时间从一周以上缩短至 1-2 小时。目前其视频编辑 Agent Underlord 在生产环境运行来自 Anthropic、Google、OpenAI 和 xAI 的 13 个模型，实现了从单一模型到多模型并行的快速迭代。
vLLM 官方博客· AI 生成精选AI 评分6565 vLLM 团队详解如何在 GB300 NVL72 上训练 Kimi-K3 最快的 DSpark 推测解码模型
vLLM 团队利用 Speculators 库在 GB300 NVL72 集群上成功训练了 Kimi-K3 的 DSpark 推测解码模型，将单流数学推理速度从约 110 tok/s 提升至约 435 tok/s。
AI 推荐理由：原文详细拆解了基于GB300集群训练Kimi K3 DSpark草稿模型的全流程，提供了从数据提取到多节点部署的完整技术路径。
vLLM 官方博客· AI 生成AI 评分4545 Novita AI 开源 Chord：Kimi K2.x INT4 MoE 加速算子，H200 提速最高 1.3x
Novita AI 开源高性能 W4A16 MoE CUDA 算子 Chord，专为 Kimi K2.x 服务形状设计。该算子在 H200 EP8 解码场景下较 Humming 默认配置提速 1.16–1.24x，在 B300 EP8 解码场景下提速达 1.81–2.15x。
Modal 官方工程博客· AI 生成AI 评分4242 Modal 更新：支持 Kimi K3/Qwen 3.8 等新模型、Sandbox Sidecars 进入公开测试及仪表盘改版
Modal 新增对 Kimi K3、Qwen 3.8、GLM 5.3 等前沿开源模型的零日支持，其中 Kimi K3 在代理工作负载下可达 460 tokens/s。Sandbox Sidecars 进入公开测试，VM Sandboxes 进入公开 Beta，同时推出环境级预算控制与新版仪表盘。
vLLM 官方博客· AI 生成AI 评分4141 vime 与 RL-Kernel 在 AMD MI300X 实现 Qwen3-8B 训练-推理位级一致
vime 联合 RL-Kernel 在 AMD Instinct MI300X 上实现 Qwen3-8B GRPO 训练与推理的位级数值一致性。该方案通过统一 Megatron 与 vLLM 的数值执行契约，在 200 步连续实验中保持 mismatch_count = 0 且 max_abs_diff = 0。
vLLM 官方博客· AI 生成AI 评分5555 vLLM 详解 Kimi K3 性能优化：如何实现 2.8 倍吞吐量提升
vLLM 官方博客发布 Kimi K3 性能优化指南，通过全栈调整将吞吐量提升至 2.8 倍并降低延迟。文章重点解析自适应推测解码预算、内部 KDA 前缀检查点、零拷贝混合批次及延迟 MXFP4 最终化等关键改进，并涵盖 ReplaySSM 状态重构、PD 分离及解码上下文并行等技术细节。
vLLM 官方博客· AI 生成AI 评分4545 vLLM 优化 MiniMax M3 于 AMD Instinct MI355X：吞吐提升 3.14 倍
vLLM 在 AMD Instinct MI355X 上优化 MiniMax M3，并发 32 时 MXFP8 标准服务输出吞吐量从 109.1 提升至 342.4 tokens/s/GPU，达 day-0 结果的 3.14 倍。通过 EAGLE3 投机解码及 P/D 分离等策略，并发 128 下 TP2/EP1 路径最高达 943.5 tokens/s/GPU，较初始结果提升 4.45 倍。
Together AI Blog· AI 生成AI 评分4040 ThunderKittens 适配 NVIDIA Vera Rubin NVL72，NVFP4 GEMM 性能突破 22 PFLOPS
Together AI 将 ThunderKittens 移植至 NVIDIA Vera Rubin NVL72 平台，利用新 ISA 特性优化 GEMM 内核。
vLLM 官方博客· AI 生成精选AI 评分6565 vLLM 推出分层 KV 缓存卸载框架以优化长上下文推理
vLLM 发布分层 KV 缓存卸载框架，允许将驱逐的 KV 数据保留在主机内存、存储或远程节点中，避免重新计算从而降低延迟并提升集群有效服务容量。该设计以主机内存为核心枢纽，支持文件系统、对象存储及 P2P 网络作为二级存储，实现了跨节点的缓存共享与混合模型（如 Mamba）的透明支持。基准测试显示，在高并发对话场景下，相比无卸载方案，启用存储卸载可使吞吐量翻倍以上。
AI 推荐理由：vLLM 通过分层 KV 缓存卸载机制，将 GPU 显存压力转移至主机内存和存储层，显著提升了长上下文场景下的集群服务容量与响应速度。
Together AI Blog· AI 生成AI 评分4848 Together AI 推出可抢占计算：价格减半
Together AI 在 GPU Clusters 中推出可抢占计算公开预览，按按需费率的 50% 计费。该功能利用闲置 NVIDIA 算力，支持 Kubernetes 集群，节点被回收时提供最多 5 分钟排空窗口以保存检查点。适用于实验、推理突发及批处理等容错工作负载，用户可通过控制台或 API 动态调整目标容量。
vLLM 官方博客· AI 生成精选AI 评分6363 vLLM 发布 GLM 5.3 优化方案：Hybrid HiSparse 混合稀疏卸载技术
vLLM 推出针对 GLM 5.3 的 Hybrid HiSparse 优化方案，通过混合稀疏 KV 缓存卸载机制，使模型在单个 8× H200 节点上实现全量 100 万 token 上下文运行并显著提升并发能力。
AI 推荐理由：vLLM 官方详解 Hybrid HiSparse 在 GLM 5.3 上的稀疏 KV 缓存卸载机制，提供单节点百万上下文高并发推理的实测数据与复现命令。
vLLM 官方博客· AI 生成精选AI 评分8080 vLLM 解析智能体服务的全栈优化与 AgentX 基准实测
vLLM 团队联合 Inferact 发布技术博客，针对智能体工作负载的多轮会话、长上下文和高前缀复用特性，阐述了涵盖 KV 缓存管理、并行策略及 P/D 分离的全栈优化方案。
AI 推荐理由：原文详细拆解了智能体负载下的全栈优化策略，并提供了基于公开基准的实测数据与失败经验复盘。
vLLM 官方博客· AI 生成AI 评分5858 vLLM 发布 TT Plugin 支持 Tenstorrent 硬件推理
vLLM 推出 TT Plugin，通过标准插件机制将 Tenstorrent 加速器接入 vLLM，保持 OpenAI 兼容 API 不变。该方案利用编译式网格程序实现相位约束调度、单进程 Lane 数据并行及端侧采样，解决了非 GPU 架构与现有推理栈的兼容性问题。目前支持 Llama、Qwen、GPT-OSS 等多模态模型，暂不支持推测解码和 LoRA。
Modal 官方工程博客· AI 生成AI 评分2424 Botika 如何在 Modal 上运行全栈生成式 AI
Botika 在 Modal 平台上部署了包含数十亿参数专有模型、100TB 数据管道及约 15 个生产推理模型的全栈生成式 AI 系统。该架构支持研究人员利用 Claude 将每日实验吞吐量从 1-2 次提升至 50 次，并实现秒级弹性扩缩容以应对流量波动。
vLLM 官方博客· AI 生成精选AI 评分8080 vLLM-Omni 发布 MiniMax H3 实时服务方案：集成 FastVideo FastH3 实现快于播放的视频生成
vLLM-Omni 团队发布 MiniMax H3 的生产级服务方案，通过系统级优化和集成 FastVideo 的 FastH3 模型，在 8x NVIDIA B300 上实现了完整 MP4 生成速度快于播放时长（RTF <= 1.0）。
AI 推荐理由：vLLM-Omni 通过系统级优化与 FastH3 集成，实现了 MiniMax H3 在 B300 硬件上快于播放时长的实时视频生成能力。
LangChain Blog· AI 生成AI 评分4242 LangChain 8月通讯：Managed Deep Agents 与 LLM Gateway 进入公开测试
LangChain 宣布 Managed Deep Agents 和 LLM Gateway 进入公开测试，前者支持一键部署至托管运行时，后者提供成本控制和模型回退等生产级管控。LangSmith Engine 性能提升超2倍，开源 Deep Agents v0.7 在保持同等性能下减少65%基础输入 token。
LangChain Blog· AI 生成精选AI 评分7878 LangChain 发布 LangGraph v0.1 及 LangGraph Cloud
LangChain 正式发布 LangGraph v0.1 稳定版并推出处于封闭测试阶段的 LangGraph Cloud。LangGraph v0.1 通过低层级 API 支持条件分支、循环及人机协作，旨在提升智能体工作流的精确控制力与可靠性。
AI 推荐理由：LangGraph v0.1 与 LangGraph Cloud 的发布提供了从精细控制到规模化部署的完整链路，有助于解决智能体在复杂工作流中的可靠性与运维难题。
LangChain Blog· AI 生成AI 评分2424 Podium 借助 LangSmith 优化 AI Employee 智能体行为，工程干预减少 90%
Podium 利用 LangSmith 对 AI Employee 进行全生命周期测试与可观测性管理，使工程干预减少 90%。通过模型蒸馏与微调，其 F1 分数从 91.7% 提升至 98.6%，显著改善了对话结束识别能力。LangSmith 的追踪功能还赋能非工程团队快速定位问题根源，提升了客户支持效率。
LangChain Blog· AI 生成AI 评分2626 Replit Agent 复杂工作流推动 LangSmith 突破性能极限
Replit Agent 的复杂工作流促使 LangChain 团队升级 LangSmith，以支持数百步的大型追踪数据。新增功能包括优化大规模追踪的性能与规模、支持在单个追踪内搜索过滤事件，以及提供线程视图以整合多轮对话中的用户交互。这些改进显著缩短了调试时间，帮助 Replit 更好地监控和扩展其 AI 智能体应用。
LangChain Blog· AI 生成精选AI 评分6868 LangSmith LLM Gateway 进入公开测试版
LangSmith LLM Gateway 现已进入公开测试版，作为位于智能体与模型之间的中央治理层，提供运行时控制能力。该工具支持设置多级支出上限和速率限制以防止成本超支，并具备模型故障转移及敏感数据（PII）检测与脱敏功能。
AI 推荐理由：原文详述了网关在成本控制、故障转移及数据脱敏上的具体机制，为生产环境智能体治理提供了可落地的参考方案。