Google 总结 AI Agents Challenge 优胜方案的四大工程模式
Google 在 Startups AI Agents Challenge 结束后，从高分提交中提炼出双向 MCP、事件驱动并发、同标准降级和分层路由四种核心工程模式。
推荐理由：原文从真实代码提交中提炼出双向 MCP、事件驱动并发等四种工程模式，为构建多智能体系统提供了可直接复用的架构参考。
#教程/实践
Google Developers Blog精选AI 评分6262 Modal 官方工程博客AI 评分2424 Botika 如何在 Modal 上运行全栈生成式 AI
Botika 在 Modal 平台上部署了包含数十亿参数专有模型、100TB 数据管道及约 15 个生产推理模型的全栈生成式 AI 系统。该架构支持研究人员利用 Claude 将每日实验吞吐量从 1-2 次提升至 50 次，并实现秒级弹性扩缩容以应对流量波动。
Sierra BlogAI 评分3535 企业级 AI 语音智能体指南：从技术原理到端到端评估标准
AI 语音智能体通过整合语音处理与对话智能，利用客户上下文和业务系统实时完成工作。其生产就绪性取决于延迟、轮次管理、行动执行及护栏等全链路能力，而非仅合成音质。Sierra 提出以“首次音频响应时间”为关键指标，强调需在噪声、中断及集成失败等真实场景中进行端到端测试。
vLLM 官方博客精选AI 评分8080 vLLM-Omni 发布 MiniMax H3 实时服务方案：集成 FastVideo FastH3 实现快于播放的视频生成
vLLM-Omni 团队发布 MiniMax H3 的生产级服务方案，通过系统级优化和集成 FastVideo 的 FastH3 模型，在 8x NVIDIA B300 上实现了完整 MP4 生成速度快于播放时长（RTF <= 1.0）。
推荐理由：vLLM-Omni 通过系统级优化与 FastH3 集成，实现了 MiniMax H3 在 B300 硬件上快于播放时长的实时视频生成能力。
Google Developers BlogAI 评分4242 深度学习与 Keras 解码宇宙信号
深度学习正被应用于天体粒子物理学，以处理 Pierre Auger Observatory、IceCube 等巨型观测站产生的海量数据。这些方法利用 Keras 框架分析纳米级分辨率的波形信号，旨在提升仪器灵敏度并揭示暗物质等宇宙极端现象背后的隐藏模式。
LangChain BlogAI 评分2424 Factory 如何利用 LangSmith 自动化反馈循环并将迭代速度提升 2 倍
Factory 通过部署 Self-hosted LangSmith 实现 LLM 工作流的可观测性与数据隐私保护，将迭代速度提升 2 倍。其 Code Droid 借助 Feedback API 优化提示词，使客户开放至合并时间减少约 20%，代码变动率降低 3 倍。
LangChain BlogAI 评分2424 Podium 借助 LangSmith 优化 AI Employee 智能体行为，工程干预减少 90%
Podium 利用 LangSmith 对 AI Employee 进行全生命周期测试与可观测性管理，使工程干预减少 90%。通过模型蒸馏与微调，其 F1 分数从 91.7% 提升至 98.6%，显著改善了对话结束识别能力。LangSmith 的追踪功能还赋能非工程团队快速定位问题根源，提升了客户支持效率。
LangChain BlogAI 评分3030 LangSmith 与 LangChain OSS 如何满足欧盟 AI 法案合规要求
LangSmith 和 LangChain OSS 提供端到端追踪、自动日志记录及持续评估功能，助力开发者满足欧盟 AI 法案对高风险系统的合规要求。该方案支持 EU 数据驻留及自托管部署，通过可视化执行图与预置偏见检测器，确保决策透明性与人工监督机制落地。
LangChain BlogAI 评分2626 Replit Agent 复杂工作流推动 LangSmith 突破性能极限
Replit Agent 的复杂工作流促使 LangChain 团队升级 LangSmith，以支持数百步的大型追踪数据。新增功能包括优化大规模追踪的性能与规模、支持在单个追踪内搜索过滤事件，以及提供线程视图以整合多轮对话中的用户交互。这些改进显著缩短了调试时间，帮助 Replit 更好地监控和扩展其 AI 智能体应用。
Ai2 / Allen Institute for AIAI 评分3535 泰国研究人员如何基于 Dolma 构建 Mangosteen 泰语预训练语料库
泰国研究团队利用 Ai2 开源工具包 Dolma，构建了包含 470 亿 token 的泰语预训练语料库 Mangosteen。该团队针对泰语特性重构了去重与过滤流程，在移除超过 80% Common Crawl 数据的同时提升了模型性能。实验显示，基于 Mangosteen 训练的 LLM 在泰文化知识评测中表现更强。
Google Developers BlogAI 评分3838 Google Cloud 在 TPU 上实现 Qwen3 Embedding 模型的高精度长上下文推理
Google Cloud 将 vLLM 原生集成至 TPU，支持 Qwen3-Embedding-8B 等模型进行高精度长上下文多模态嵌入推理。该方案通过硬件对齐与懒加载优化，确保文本及多模态输入在 TPU 上的余弦相似度分别达到 ≥0.999 和 ≥0.995，实现跨异构硬件的数学一致性。
Google Developers Blog精选AI 评分6262 Google ADK 新增原生语音智能体评估功能
Google ADK 引入原生实时语音评估能力，支持通过模拟用户音频驱动智能体并评分。该功能允许在同一评估循环中处理语音交互，提供从创建智能体、编写评估用例到运行和检查结果的完整流程示例。开发者可利用自然语言评分标准对多轮对话轨迹进行端到端质量判断，并通过 ADK Web 界面查看包含可播放音频片段的转录结果。
推荐理由：提供了在 ADK 中构建语音智能体评估闭环的具体代码与配置，帮助开发者将演示转化为可量化的生产级测试。
vLLM 官方博客AI 评分4545 vLLM 在 AMD GPU 上探索推测解码
vLLM 在 AMD Instinct MI300X/MI355X 上测试了原生 MTP、EAGLE-3 等五种推测解码方法，验证其通过单次目标模型校验多 token 提升吞吐。实验显示输出速度受草稿方式、提案长度及模型家族影响，该机制保留原模型行为并减少解码轮次。
vLLM 官方博客AI 评分5858 vLLM 发布基于 RDT 的大规模分片权重传输引擎
vLLM 推出利用 Ray Direct Transport (RDT) 的原生分片权重传输引擎，旨在解决在线 RL 中大规模模型权重同步的效率问题。该方案通过“记录张量”干运行生成分片计划，支持密集、MoE 及量化模型，并实现了预处理与传输的重叠优化。
Together AI BlogAI 评分4747 Together AI 平台支持在生产环境中对 LLM 进行 A/B 测试
Together AI 推出端点级 A/B 实验功能，允许在生产环境直接对比模型效果。该机制通过固定流量比例（如 95/5）路由请求至变体部署，且独立于副本数量以避免漂移。用户可通过 API 动态调整分流权重并关联平台指标与产品数据，实现无需修改客户端代码的模型评估。
Google Developers Blog精选AI 评分7373 Google 发布基于 ADK 构建零信任 AI Agent 的安全指南与开源示例
Google 开发者博客发布了利用 Agent Development Kit (ADK) 构建零信任 AI Agent 的技术方案，并开源了包含自主客服退款代理的参考实现。
推荐理由：原文提供了基于 ADK 构建零信任 AI Agent 的完整代码实现与开源仓库，展示了如何通过硬件签名、沙箱隔离和语义网关防御提示词注入攻击。
vLLM 官方博客精选AI 评分6565 vLLM 官方博客详解 DSpark 自适应验证机制以优化投机解码
vLLM 引入 enable_adaptive_verification 功能，利用 DSpark 置信度头动态决定每步验证的草稿 token 数量，使投机解码在并发 256 时仍保持吞吐优势。
推荐理由：vLLM 官方详解自适应验证机制，通过动态调整草稿预算解决高并发下投机解码性能瓶颈，提供可复现的配置与基准数据。
Sierra BlogAI 评分3838 Sierra 阐述智能体时代的纵深防御策略
Sierra 提出在基于目标和护栏构建的 AI 智能体中，需采用“AI 守护 AI”的纵深防御体系。该方案结合内容、规则、监督模型及确定性守卫等多层运行时检查，并辅以持续评估与监控以应对不断演变的攻击威胁。
Google Developers BlogAI 评分4040 HeyGen Avatar IV 迁移至 Google Cloud Trillium TPU，推理速度提升 1.86 倍
HeyGen 将拥有超 18B 参数的 Avatar IV 扩散模型栈迁移至 Google Cloud 八芯片 Trillium (v6e) TPU 主机，实现比首个可用版本快 1.86 倍的推理速度。通过优化 all-to-all 集合通信与稀疏注意力内核，该方案在保持输出质量的同时，成本效率较 8×H100 生产环境提升最高 25%。
vLLM 官方博客AI 评分4343 vLLM 发布 Decode Context Parallelism 优化长上下文推理
vLLM 推出 Decode Context Parallelism (DCP) 技术，通过沿序列维度分片 KV cache 解决 GQA/MLA 模型在张量并行下的显存复制瓶颈。实测显示，在 Kimi K2.6 模型上，DCP 使单 GPU 吞吐量从基线 TP 的 1,863 tok/s 提升至 6,091 tok/s，并支持高达 512 的并发请求。
vLLM 官方博客精选AI 评分6060 vLLM 官方博客详解 Qwen3.5 在 GB200 上达成 25K TPS/GPU 的优化与复现方法
vLLM 团队发布博客，展示如何通过解耦服务模式在 GB200 NVL72 系统上使 Qwen3.5-397B-A17B-NVFP4 模型达到超过 25,000 total TPS/GPU 的性能。
推荐理由：vLLM 团队公开了 Qwen3.5 在 GB200 NVL72 上实现 25K TPS/GPU 的解耦服务配置、关键优化补丁及复现配方，为高性能推理部署提供直接参考。
Modal 官方工程博客AI 评分3838 Modal 推出分布式 I/O 平面，函数调用延迟降低约 80ms
Modal 完成新地理分布式 I/O 平面的迁移，使端到端 Function Call 延迟在 p50 水平降低约 80ms。该架构通过重写 Go 语言服务器、异步处理非关键任务及优化 Redis/Valkey 存储引擎实现性能提升。用户可通过 routing_region 参数指定输入输出路由区域以进一步减少网络开销。
Andrej KarpathyAI 评分2323 Karpathy 分享自行车鹈鹕测试源码
关于 @simonw 提到的“骑自行车的鹈鹕”测试的更多信息：https://simonwillison.net/2025/Jun/6/six-months-in-llms/… 我已在此上传源代码，以便在浏览器中游玩、fork 等。 https://karpathy.ai/lotr-movie/ 留意 GTA 霍比屯将在 GTA VI 之前发布 :)
Together AI Blog精选AI 评分8787 Kimi K3 发布：2.8 万亿参数开源模型及 Together AI 使用指南
Moonshot AI 发布 Kimi K3，这是首个 3 万亿参数级别的开源权重模型，参数量达 2.8T，专为长程编码、知识工作和深度推理设计。该模型支持 1M 上下文窗口，采用 Kimi Delta Attention 和 Stable LatentMoE 等架构创新，在多项编码和智能体基准测试中表现接近前沿专有模型。
推荐理由：原文给出了 Kimi K3 的架构细节、Together AI 上的 API 调用示例和定价策略，开发者可以据此评估其在长上下文编码和推理任务中的实际可用性。
Sierra BlogAI 评分5050 Sierra 推出 Agency：为 Pinecone 和 Ghostwriter 提供安全可扩展的智能体沙箱
Sierra 发布 Agency，作为其智能体基础设施层，为 Pinecone 和 Ghostwriter 提供安全、可扩展的沙箱环境。该原生 Kubernetes 应用由无状态控制平面和有状态运行器组成，支持按需配置具备 8+ 核心与 24GiB 内存的计算资源。Agency 旨在解决第三方沙箱在资源限制与客户数据安全性上的不足，确保智能体能自主执行长时间运行的复杂任务。
vLLM 官方博客AI 评分3838 vLLM 在 Arm CPU 上的性能优化
vLLM 联合 PyTorch、oneDNN 等社区优化 Arm Neoverse 服务器上的大语言模型推理，通过启用 mimalloc 分配器和 LSE 原子指令解决瓶颈。Llama 3.1 8B 离线吞吐量提升 2.3 倍，低并发场景下 TPOT 延迟降低 15%。
Anthropic Claude.dev 开发者博客精选AI 评分8080 Anthropic 发布 Claude 5 模型上下文工程新规则
Anthropic 工程师 Thariq Shihipar 分享了针对 Claude Opus 5 和 Claude Fable 5 等新一代模型的上下文工程最佳实践，指出团队已移除 Claude Code 中超过 80% 的系统提示词且未影响编码评测表现。
推荐理由：官方披露了针对 Claude 5 系列模型的上下文工程新范式，包括移除大量系统提示词约束及利用渐进式披露的具体方法。
vLLM 官方博客精选AI 评分6666 vLLM官方博客：在24张NVIDIA B300 GPU上部署GLM-5.2并满足生产级SLA的实践指南
DaoCloud团队在vLLM官方博客发布文章，介绍了如何在24张NVIDIA B300 GPU上部署GLM-5.2-NVFP4模型以满足生产级SLA要求。通过采用分离式P/D架构、推测解码填充、Model Runner V2及IndexerCache等优化手段，将平均TPOT从约40ms降至17ms，同时保持TTFT低于2.5秒。
推荐理由：文章详细记录了在24张B300 GPU上部署GLM-5.2的全过程，提供了从TPOT优化到最终SLA达标的具体配置和命令。
Sierra BlogAI 评分4545 Sierra 构建 MCP Gateway 的工程实践与教训
Sierra 基于 Model Context Protocol (MCP) 构建统一 Gateway，连接 Slack、GitHub 等内部系统以支持 AI Agent。团队通过“Grab the lock”机制减少协调瓶颈，利用 `mcp-gateway.md` 文档约束 Coding Agents 行为，并采用最小化数据暴露策略防止跨客户敏感信息泄露。
Andrej KarpathyAI 评分3838 Karpathy 谈 LLM 语音闲聊模式
我发现一种与 LLM 协作的有用模式：进行长时间的随意闲聊。有时 LLM 需要更多比特来理解你的目标，但你懒得打字。这种情况下，我喜欢向后靠，切换到 /voice 并随意聊上大约 10
Modal 官方工程博客精选AI 评分6868 Modal 重构沙箱平台支持百万并发及每秒数万创建
Modal 宣布重建其核心沙箱平台，新系统支持数百万并发沙箱运行，并能以每秒数万个的速度创建沙箱。该架构移除了控制平面中的中心瓶颈，采用无协调的分布式调度设计，使调度路径简化为负载均衡器直接在计算节点上创建容器。实测显示，100 万个沙箱可在不到一分钟内全部创建完成，中位启动时间低于半秒。目前该系统已开放 Beta 测试，用户可通过简单代码修改启用。
推荐理由：原文展示了去中心化调度架构如何实现百万级沙箱并发与秒级创建，为高吞吐 Agent 基础设施提供了可参考的工程范式。
Together AI BlogAI 评分3838 Together AI 解析推理服务 99.9% 正常运行时间的架构要求
Together AI 指出实现 99.9% 推理正常运行时间需跨双数据中心部署模型权重并持续运行实时流量，而非冷备。该架构依赖对硬件、网络及软件的端到端控制权以消除故障域盲区，确保在单设施失效时能无缝切换负载。
Ai2 / Allen Institute for AI精选AI 评分6060 Ai2 分享 Shippy 海事智能体构建经验与架构设计
Ai2 的 Skylight 团队分享了其海事 AI 智能体 Shippy 的构建经验，重点介绍了如何通过确定性工具、沙箱隔离和自定义评估系统来解决高风险操作域中的可靠性问题。
推荐理由：原文详细拆解了高可靠性智能体的架构设计与评估体系，为构建严肃场景下的 Agent 提供了可复用的工程经验。
Sierra Blog精选AI 评分7373 Sierra 分享 AI 驱动公司转型经验：从角色智能体转向统一入口与主动式工作流
Sierra 工程团队通过并行运行 Claude Code 和 Codex 等智能体实现了显著的效率提升，并成立了六人加速小组以推广这一模式。他们发现按角色划分多个智能体因增加用户记忆负担且割裂跨部门协作而失败，因此将所有功能合并为名为 Pinecone 的单一智能体，使其能自动识别请求并调用相应系统。
推荐理由：Sierra 分享了将全公司工作流整合到单一智能体的实践，指出业务上下文而非模型智力才是当前瓶颈。
Ai2 / Allen Institute for AI精选AI 评分7373 Ai2 分享 MolmoAct 2 在机器人领域的开放价值
Ai2 发布文章阐述 MolmoAct 2 如何推动机器人领域开放模型发展。LiveKit 工程师 Binh Pham 在黑客松中使用该模型构建语音控制机器人，指出其具备良好空间感知能力且能执行未专门训练的任务。Pham 认为这是机器人领域的 GPT-2 时刻，强调提供权重、数据和代码的完整开放对复现和定制至关重要。
推荐理由：通过开发者实测案例，具体展示了开放模型在机器人任务泛化上的实际表现与社区价值。
Modal 官方工程博客AI 评分4040 Modal 发布交互式工具解析 Serverless GPU 与预留实例定价策略
Modal 推出交互式成本估算工具，对比 B200 GPU 的 Serverless 与三年预留定价。当负载峰值均值比超过预留折扣率时，Serverless 更具成本优势；推理等典型场景比值达 5:1 至 10:1，使其比预留更便宜。
Modal 官方工程博客AI 评分4242 Modal 推出 Auto Endpoints，利用推测解码实现 SOTA 推理延迟
Modal 发布 Auto Endpoints，通过结合 Blackwell GPU、SGLang 引擎与推测解码优化，实现低延迟推理。在 Decagon Voice 案例中，该方案将 p50 延迟从约 290ms 降低 100ms，优于专有服务商表现。
Modal 官方工程博客AI 评分4242 Modal 解析沙箱启动延迟：为何 Started 不等于 Ready
Modal 指出沙箱启动中容器调度仅占极小部分，应用初始化才是主要延迟来源。其正式推出 Readiness Probes 以精准标记沙箱就绪状态，并建议结合 Sandbox pools 与 Directory Snapshots 预置环境，从而消除用户感知的启动等待时间。
Modal 官方工程博客AI 评分4545 Modal 优化 FlashAttention-4 内核以提升 LLM 推理性能
Modal 通过调整并行策略和支持不规则内存访问，优化了 FlashAttention-4 内核以适配大语言模型推理。新增 FP8 输入支持使吞吐量较 bf16 基线提升最高 1.16x，并显著减小 KV cache 体积。这些改进针对 decode-heavy 工作负载，利用 CuTe DSL 实现了更高效的低精度计算与长上下文处理。
Anthropic Claude.dev 开发者博客精选AI 评分8282 Anthropic 分享 Claude Code 技能构建经验：九类场景与最佳实践
Anthropic 工程师 Thariq Shihipar 总结了在 Claude Code 中大规模使用“技能”（Skills）的经验，将内部数百个活跃技能归纳为库/API 参考、产品验证、数据获取等九大类别。
推荐理由：原文基于 Anthropic 内部数百个技能的使用经验，梳理了九类常见场景与编写技巧，为构建高效 Agent 工作流提供了可复用的方法论。