Google 发布基于 ADK 构建零信任 AI Agent 的安全指南与开源示例
Google 开发者博客发布了利用 Agent Development Kit (ADK) 构建零信任 AI Agent 的技术方案,并开源了包含自主客服退款代理的参考实现。
推荐理由:原文提供了基于 ADK 构建零信任 AI Agent 的完整代码实现与开源仓库,展示了如何通过硬件签名、沙箱隔离和语义网关防御提示词注入攻击。
Google 开发者博客发布了利用 Agent Development Kit (ADK) 构建零信任 AI Agent 的技术方案,并开源了包含自主客服退款代理的参考实现。
推荐理由:原文提供了基于 ADK 构建零信任 AI Agent 的完整代码实现与开源仓库,展示了如何通过硬件签名、沙箱隔离和语义网关防御提示词注入攻击。
vLLM 引入 enable_adaptive_verification 功能,利用 DSpark 置信度头动态决定每步验证的草稿 token 数量,使投机解码在并发 256 时仍保持吞吐优势。
推荐理由:vLLM 官方详解自适应验证机制,通过动态调整草稿预算解决高并发下投机解码性能瓶颈,提供可复现的配置与基准数据。
Sierra 提出在基于目标和护栏构建的 AI 智能体中,需采用“AI 守护 AI”的纵深防御体系。该方案结合内容、规则、监督模型及确定性守卫等多层运行时检查,并辅以持续评估与监控以应对不断演变的攻击威胁。
HeyGen 将拥有超 18B 参数的 Avatar IV 扩散模型栈迁移至 Google Cloud 八芯片 Trillium (v6e) TPU 主机,实现比首个可用版本快 1.86 倍的推理速度。通过优化 all-to-all 集合通信与稀疏注意力内核,该方案在保持输出质量的同时,成本效率较 8×H100 生产环境提升最高 25%。
vLLM 推出 Decode Context Parallelism (DCP) 技术,通过沿序列维度分片 KV cache 解决 GQA/MLA 模型在张量并行下的显存复制瓶颈。实测显示,在 Kimi K2.6 模型上,DCP 使单 GPU 吞吐量从基线 TP 的 1,863 tok/s 提升至 6,091 tok/s,并支持高达 512 的并发请求。
vLLM 团队发布博客,展示如何通过解耦服务模式在 GB200 NVL72 系统上使 Qwen3.5-397B-A17B-NVFP4 模型达到超过 25,000 total TPS/GPU 的性能。
推荐理由:vLLM 团队公开了 Qwen3.5 在 GB200 NVL72 上实现 25K TPS/GPU 的解耦服务配置、关键优化补丁及复现配方,为高性能推理部署提供直接参考。
Modal 完成新地理分布式 I/O 平面的迁移,使端到端 Function Call 延迟在 p50 水平降低约 80ms。该架构通过重写 Go 语言服务器、异步处理非关键任务及优化 Redis/Valkey 存储引擎实现性能提升。用户可通过 routing_region 参数指定输入输出路由区域以进一步减少网络开销。
关于 @simonw 提到的“骑自行车的鹈鹕”测试的更多信息:https://simonwillison.net/2025/Jun/6/six-months-in-llms/… 我已在此上传源代码,以便在浏览器中游玩、fork 等。 https://karpathy.ai/lotr-movie/ 留意 GTA 霍比屯将在 GTA VI 之前发布 :)
Moonshot AI 发布 Kimi K3,这是首个 3 万亿参数级别的开源权重模型,参数量达 2.8T,专为长程编码、知识工作和深度推理设计。该模型支持 1M 上下文窗口,采用 Kimi Delta Attention 和 Stable LatentMoE 等架构创新,在多项编码和智能体基准测试中表现接近前沿专有模型。
推荐理由:原文给出了 Kimi K3 的架构细节、Together AI 上的 API 调用示例和定价策略,开发者可以据此评估其在长上下文编码和推理任务中的实际可用性。
Sierra 发布 Agency,作为其智能体基础设施层,为 Pinecone 和 Ghostwriter 提供安全、可扩展的沙箱环境。该原生 Kubernetes 应用由无状态控制平面和有状态运行器组成,支持按需配置具备 8+ 核心与 24GiB 内存的计算资源。Agency 旨在解决第三方沙箱在资源限制与客户数据安全性上的不足,确保智能体能自主执行长时间运行的复杂任务。
vLLM 联合 PyTorch、oneDNN 等社区优化 Arm Neoverse 服务器上的大语言模型推理,通过启用 mimalloc 分配器和 LSE 原子指令解决瓶颈。Llama 3.1 8B 离线吞吐量提升 2.3 倍,低并发场景下 TPOT 延迟降低 15%。
Anthropic 工程师 Thariq Shihipar 分享了针对 Claude Opus 5 和 Claude Fable 5 等新一代模型的上下文工程最佳实践,指出团队已移除 Claude Code 中超过 80% 的系统提示词且未影响编码评测表现。
推荐理由:官方披露了针对 Claude 5 系列模型的上下文工程新范式,包括移除大量系统提示词约束及利用渐进式披露的具体方法。
Ethan Mollick 发布最新 AI 工具使用指南,指出当前“使用 AI”已从简单聊天转向具备规划与执行能力的智能体系统。对于低风险日常问答,免费默认模型即可满足需求;但在医疗或法律等高风险领域,建议使用 Claude Opus/Fable 或 ChatGPT GPT-5.6 Sol 并开启高思考模式以降低错误率。
推荐理由:作者基于实测对比了不同场景下的模型选择与智能体配置,提供了从基础聊天到接管本地电脑的具体操作建议。
DaoCloud团队在vLLM官方博客发布文章,介绍了如何在24张NVIDIA B300 GPU上部署GLM-5.2-NVFP4模型以满足生产级SLA要求。通过采用分离式P/D架构、推测解码填充、Model Runner V2及IndexerCache等优化手段,将平均TPOT从约40ms降至17ms,同时保持TTFT低于2.5秒。
推荐理由:文章详细记录了在24张B300 GPU上部署GLM-5.2的全过程,提供了从TPOT优化到最终SLA达标的具体配置和命令。
Sierra 基于 Model Context Protocol (MCP) 构建统一 Gateway,连接 Slack、GitHub 等内部系统以支持 AI Agent。团队通过“Grab the lock”机制减少协调瓶颈,利用 `mcp-gateway.md` 文档约束 Coding Agents 行为,并采用最小化数据暴露策略防止跨客户敏感信息泄露。
我发现一种与 LLM 协作的有用模式:进行长时间的随意闲聊。有时 LLM 需要更多比特来理解你的目标,但你懒得打字。这种情况下,我喜欢向后靠,切换到 /voice 并随意聊上大约 10
Modal 宣布重建其核心沙箱平台,新系统支持数百万并发沙箱运行,并能以每秒数万个的速度创建沙箱。该架构移除了控制平面中的中心瓶颈,采用无协调的分布式调度设计,使调度路径简化为负载均衡器直接在计算节点上创建容器。实测显示,100 万个沙箱可在不到一分钟内全部创建完成,中位启动时间低于半秒。目前该系统已开放 Beta 测试,用户可通过简单代码修改启用。
推荐理由:原文展示了去中心化调度架构如何实现百万级沙箱并发与秒级创建,为高吞吐 Agent 基础设施提供了可参考的工程范式。
Together AI 指出实现 99.9% 推理正常运行时间需跨双数据中心部署模型权重并持续运行实时流量,而非冷备。该架构依赖对硬件、网络及软件的端到端控制权以消除故障域盲区,确保在单设施失效时能无缝切换负载。
Ai2 的 Skylight 团队分享了其海事 AI 智能体 Shippy 的构建经验,重点介绍了如何通过确定性工具、沙箱隔离和自定义评估系统来解决高风险操作域中的可靠性问题。
推荐理由:原文详细拆解了高可靠性智能体的架构设计与评估体系,为构建严肃场景下的 Agent 提供了可复用的工程经验。
Sierra 工程团队通过并行运行 Claude Code 和 Codex 等智能体实现了显著的效率提升,并成立了六人加速小组以推广这一模式。他们发现按角色划分多个智能体因增加用户记忆负担且割裂跨部门协作而失败,因此将所有功能合并为名为 Pinecone 的单一智能体,使其能自动识别请求并调用相应系统。
推荐理由:Sierra 分享了将全公司工作流整合到单一智能体的实践,指出业务上下文而非模型智力才是当前瓶颈。
Ai2 发布文章阐述 MolmoAct 2 如何推动机器人领域开放模型发展。LiveKit 工程师 Binh Pham 在黑客松中使用该模型构建语音控制机器人,指出其具备良好空间感知能力且能执行未专门训练的任务。Pham 认为这是机器人领域的 GPT-2 时刻,强调提供权重、数据和代码的完整开放对复现和定制至关重要。
推荐理由:通过开发者实测案例,具体展示了开放模型在机器人任务泛化上的实际表现与社区价值。
Modal 推出交互式成本估算工具,对比 B200 GPU 的 Serverless 与三年预留定价。当负载峰值均值比超过预留折扣率时,Serverless 更具成本优势;推理等典型场景比值达 5:1 至 10:1,使其比预留更便宜。
Modal 发布 Auto Endpoints,通过结合 Blackwell GPU、SGLang 引擎与推测解码优化,实现低延迟推理。在 Decagon Voice 案例中,该方案将 p50 延迟从约 290ms 降低 100ms,优于专有服务商表现。
Modal 指出沙箱启动中容器调度仅占极小部分,应用初始化才是主要延迟来源。其正式推出 Readiness Probes 以精准标记沙箱就绪状态,并建议结合 Sandbox pools 与 Directory Snapshots 预置环境,从而消除用户感知的启动等待时间。
我把 Physical AutoResearch 在概念上说得很简单,但它的实现需要团队协作以及大量针对机器人 /loopcraft 的设计思考。最难的部分是我们在按下回车键*之前*需要设置的所有内容。以下是幕后花絮:1. 安全框架
Modal 通过调整并行策略和支持不规则内存访问,优化了 FlashAttention-4 内核以适配大语言模型推理。新增 FP8 输入支持使吞吐量较 bf16 基线提升最高 1.16x,并显著减小 KV cache 体积。这些改进针对 decode-heavy 工作负载,利用 CuTe DSL 实现了更高效的低精度计算与长上下文处理。
Anthropic 工程师 Thariq Shihipar 总结了在 Claude Code 中大规模使用“技能”(Skills)的经验,将内部数百个活跃技能归纳为库/API 参考、产品验证、数据获取等九大类别。
推荐理由:原文基于 Anthropic 内部数百个技能的使用经验,梳理了九类常见场景与编写技巧,为构建高效 Agent 工作流提供了可复用的方法论。
Anthropic 在 Claude Code 中发布动态工作流(Dynamic Workflows),允许 Claude 即时编写定制化的 JavaScript 脚本以协调子智能体(subagents)。
推荐理由:官方详解动态工作流机制与六大模式,提供从代码迁移到深度研究的实战案例及Token预算技巧。
Together AI 宣布作为 MiniMax M3 的首选云合作伙伴,通过深度性能优化支持该模型在生产环境中高效运行,并将在未来几天开放权重后直接提供端点服务。
推荐理由:Together AI 详细披露了 MiniMax M3 在稀疏注意力、KV 缓存管理及多模态预处理上的底层工程优化,展示了实现百万 token 上下文高效服务的具体技术路径。
Together AI 通过优化 NVIDIA Parakeet-TDT 0.6B v3 和 OpenAI Whisper Large v3,实现了极低的语音转文本延迟。其核心改进包括使用 TensorRT 多配置文件加速编码器、利用条件 CUDA graph 将解码器分支移至 GPU 实现 2-3 倍提速,以及消除 CPU 冗余数据拷贝。
开发者 Brendan Works 利用开源模型 Molmo、MolmoWeb 和 Olmo 3 构建了网页无障碍检测工具 PointCheck。该工具通过 Playwright 模拟键盘导航,结合视觉模型检查屏幕渲染效果以验证焦点指示器可见性,并由 Olmo 3 生成报告。PointCheck 支持完全自托管,旨在弥补传统代码静态检查在感知层面的不足。
Anthropic Claude Code 团队成员 Thariq Shihipar 建议将 HTML 作为主要输出格式以替代 Markdown,利用其更高的信息密度、视觉清晰度和易分享性来优化复杂任务的沟通效率。
推荐理由:作者分享了在 Claude Code 中用 HTML 替代 Markdown 的具体场景与提示词,展示了如何利用富文本特性提升信息密度和交互性。
顺便说一句,这招很管用:在查询末尾要求你的 LLM “将回复结构化为 HTML”,然后在浏览器中查看生成的文件。我也尝试让 LLM 以幻灯片等形式展示输出,效果也不错。更广泛地说,在我看来音频是
Claude Code 团队指出 Prompt Caching 是长运行智能体产品可行性的关键,能显著降低延迟和成本。文章分享了静态内容前置、通过消息而非修改系统提示词传递更新、会话中不切换模型或工具集等优化策略。此外,还介绍了利用 defer_loading 处理 MCP 工具以及通过共享父级前缀实现无缓存破坏的上下文压缩方法。
推荐理由:原文详细拆解了 Claude Code 围绕 Prompt Caching 的架构设计,提供了避免缓存失效的具体工程模式。
Anthropic Claude Code 团队分享了智能体工具设计的核心原则,强调需根据模型自身能力塑造工具并持续迭代。
推荐理由:原文通过 AskUserQuestion、Task 和 Guide Agent 等案例,展示了 Claude Code 如何根据模型能力演进调整工具设计。
LLM 知识库 最近我发现非常有用的一件事:使用 LLM 为各种研究兴趣主题构建个人知识库。通过这种方式,我最近的 token 吞吐量中,很大一部分不再用于处理代码,而是用于处理
三天前,我让 autoresearch 对 depth=12 的 nanochat 模型进行了约 2 天的调优。它发现了约 20 项能改善验证损失的改动。昨天我测试了这些改动,发现它们都是可叠加的,并且能迁移到更大(depth=24)的模型上。将所有这些改动堆叠起来,
Ethan Mollick 指出在智能体时代选择 AI 需考量模型、应用和执行框架三个维度,同一模型在不同框架下表现差异巨大。当前三大前沿模型为 GPT-5.2 Thinking、Claude Opus 4.6 和 Gemini 3 Pro,付费订阅才能解锁高级推理能力。
推荐理由:原文将AI使用拆解为模型、应用与执行框架三层,并给出各场景下的具体选型建议,帮助读者厘清智能体时代的工具差异。
什么是自动化审计?我们向审计智能体提示一个待调查的场景:例如暗网购物助手,或除非智能体伤害人类否则即将关闭的情境。审计员试图让目标 LLM 表现出未对齐行为,由独立的评判 LLM 进行判定。
Ethan Mollick 详细评测了由 Opus 4.5 驱动的 Claude Code,展示其如何通过“压缩”上下文、加载 Skills 和创建子代理(Subagents)实现长达数小时的自主复杂任务执行。文章指出这些新式 AI 编程工具虽界面简陋且面向程序员,但具备处理非代码知识工作的潜力,并介绍了通过 Claude Desktop 降低使用门槛的方法及潜在安全风险。
推荐理由:作者通过实测展示了Claude Code的自主工作流与技能机制,为普通用户提供了理解新一代AI编程工具实际能力边界的直观参考。