Anthropic引入第三方评估安全实践
我们已承诺由评估人员审查我们的安全措施。我们正在与多个组织洽谈,并已授予 @METR_Evals 团队类似员工的访问权限。在这篇文章中,我们将介绍我们与第三方评估人员的合作方式:
我们已承诺由评估人员审查我们的安全措施。我们正在与多个组织洽谈,并已授予 @METR_Evals 团队类似员工的访问权限。在这篇文章中,我们将介绍我们与第三方评估人员的合作方式:
Google OAuth 平台现已支持 DPoP(RFC 9449)标准,专门用于对长期有效的刷新令牌进行发送方约束,以防御 Infostealer 恶意软件和中间人攻击导致的令牌窃取与重放。
微软研究院推出 Magnetar,一种能证明 Rust、Go 或 C 程序执行正确性的零知识虚拟机(zkVM)。它在保持通用性和仅依赖标准哈希函数(如 SHA-256)带来的抗量子安全性的同时,平均比现有最快同类系统快 10 到 39 倍,且证明可在约 12 毫秒内验证。
推荐理由:Magnetar 在通用性、效率和基于哈希函数的安全性上取得突破,为可验证计算提供了无需信任的实用路径。
AI 可以帮助缺乏资源抵御网络攻击的社区。a16z 的 @AnneNeuberger 阐述了“保护美国基础设施基金会”的使命,该基金会从乡村医院开始:“美国有 1,800 家乡村医院……这些医院缺乏
AWS 发布 Trust in Depth 框架,通过 Scope、Know、Bound、Observe 四个独立层级来建立对 AI 智能体的信任,解决人工审批瓶颈并支持高自主性任务。
推荐理由:文章提出分层信任框架,结合自动推理与运行时管控,为平衡智能体自主性与安全性提供可落地的工程方法。
Block 正在利用 OpenAI 技术构建 AI 驱动的安全系统。其安全团队能够更快速地调查威胁,并在几分钟内提出补丁方案。
Google DeepMind 与新加坡 GovTech 合作发布基于 Gemma 的端侧诈骗检测模型,旨在不侵犯隐私前提下识别社会工程攻击。该模型针对新加坡本地诈骗话术微调,采用两阶段流水线在智能手机上运行以平衡效率与准确性,并在新加坡国际网络周(SICW 2026)展示。训练过程严格隔离于主权沙箱中,仅使用匿名数据,支持即时警告用户暂停可疑交易。
推荐理由:展示了如何在保护隐私的前提下,通过端侧部署微调模型解决本地化诈骗检测难题,为加密通讯平台提供了可复用的技术路径。
Google DeepMind 宣布开始广泛推出 Gemini 4 Argon,该模型在编码、网络安全等领域具备前沿能力,并已通过 Fairwind Program 协助发现关键漏洞。
GitHub 推出新的密钥扫描管线,采用正则表达式生成候选项并结合微调后的 ModernBERT 分类器进行上下文评估,以区分真实凭证与相似字符串。该方案使仓库所有者加权接受率提高 11.5%,中位后推送扫描执行时间缩短 86%,服务成本较之前的 LLM 管线降低超过 98%。新模型通过 ONNX 格式导出并应用 8-bit 量化,实现了在保持高召回率的同时显著减少误报和推理开销。
Google DeepMind 正式发布前沿模型 Gemini 4 Argon,面向开发者、企业及消费者开放 API 及订阅服务。该模型在编码、金融、法律、网络安全和科学等领域表现突出,在 Vals Index 中排名第一,并具备 1M token 的上下文窗口。
推荐理由:原文详述了该模型在代码重构、科学发现及安全防御中的具体性能提升与落地案例,展示了其处理复杂长程任务的实际能力。
Ethan Mollick 发表关于 AI 安全与能力边界的观点分析。他探讨了当前模型在自主性与安全性方面的表现及潜在影响。
推荐理由:作者基于自身观察对AI安全现状提供独立视角,有助于读者理解当前技术边界与潜在风险。
过去几个月,我们在降低针对 Claude 的蒸馏攻击有效性方面取得了重大进展。在这篇文章中,我们将解释具体方法:
如果你还没确保在所有账户上开启双重验证,没有与家人约定好以防接到索要钱财的语音电话等密码,现在正是时候。AI 能力的提升意味着对个体进行复杂的大规模定向攻击的成本正在下降。
我们正开始更频繁地发布关于模型行为的报告,内容超出系统卡和常规风险报告的范畴。今日的报告描述了我们在评估和内部使用中发现的四类行为。在每种情况中,Claude 都针对真实
Sophos 利用 OpenAI 的 Daybreak 将网络威胁调查时间缩短 96%,并自动化处理了 52% 的 MDR 案例。该方案在提升效率的同时保留了人工监督机制,实现了安全运营流程的优化。
为保护电网和水系统等关键设施,我们推出了一项新的关键基础设施防御计划。我们将把前沿 Claude 模型、现场工程师以及最新研究成果提供给这些运营商的安全、制造和技术供应商。
我们推出 Anthropic Cyber Mission,这是一项旨在保护关键基础设施和开源软件的新举措。
OpenAI 通过官方新闻渠道发布了一则行业动态信息。
GitHub 宣布推出由 Microsoft Applied Sciences 协助构建的 ModernBERT 分类器,用于扩展推送保护至非结构化密钥。该模型能在 2 毫秒内评估候选密钥批次,预计可将可预防的密钥数量增加一倍以上。
推荐理由:GitHub 推出基于 ModernBERT 的新分类器,将非结构化密钥检测延迟降至 2ms 以下,旨在解决 AI 生成代码激增带来的泄露防护瓶颈。
我们正在扩大网络安全验证计划,为安全专业人员提供更广泛地访问我们最强模型的机会。通过该计划,经过验证的安全专业人员可以访问 Claude Mythos 5.1、Opus 5.5 和 Sonnet 5.5,这些模型配备了专为防御性工作设计的安全保障措施。
AWS 通过提供工具支持客户实施 ISO/IEC 42005:2025 标准,以规范 AI 系统影响评估。该标准指导企业将评估整合至现有风险管理体系,避免重复工作并确立重评触发机制。AWS 已为 Amazon Bedrock 等服务取得相关认证,并发布 AIMS 实施指南及 Well-Architected 框架辅助落地。
Google Research 联合50余位专家发布《Open and Emergent Problems in Agentic Privacy and Security》报告,基于2025年底CAPS研讨会成果。报告指出LLM驱动的智能体面临非结构化输入、概率性控制流及自主委托带来的隐私安全挑战。建议引入上下文完整性(CI)理论,构建动态策略引擎以评估行动的社会与情境适当性。
DeepLearning.AI 引用 Anthropic 数据指出,开源模型 GLM-5.3 在 ExploitBench 漏洞利用任务中解决率为 12%,接近 Claude Mythos 的 14%。此外,仅花费 $20.40 token 成本即发现了近期 Google Chrome 的一个安全漏洞。
推荐理由:原文引用 Anthropic 数据对比开源模型与 Claude Mythos 在 ExploitBench 上的表现,并提及低成本发现 Chrome 漏洞的案例。
我对人们试图将宗教力量赋予 AI 模型或向 AI 让渡人类判断力感到非常不安,我认为这是一个真实的安全问题。
本周《The Batch》中,Andrew 的信涵盖开源权重模型 GLM-5.3 在利用漏洞方面几乎追平 Claude Mythos(12% vs. 14%)。此外还包括:小米新的开源权重领导者、Gemini 3.8 Live、DeepSeek-V4.1-Flash、AREX agents
Google Research 宣布推出下一代联邦学习(FL)系统,利用可信执行环境(TEEs)提供完全可验证和可审计的数据匿名化保证。该系统通过密钥管理系统(KMS)、访问策略和公开透明日志 Rekor,确保只有符合策略的服务器端工作负载才能解密和处理加密的训练数据,从而消除了对服务器操作者的信任需求。
推荐理由:Google Research 发布了基于可信执行环境(TEE)的新一代联邦学习系统,通过远程证明和公开透明日志实现端到端可验证的数据匿名化,并在 Gboard 中显著提升了训练速度与隐私保障。
Modal 推出 Beta 版 Sidecars,这是一种在主 Sandbox 同一主机上运行的隔离容器,旨在建立可信代码与不可信代码之间的安全边界。Sidecars 通过内部桥接网络通信,其跨信任边界的通信速度比使用独立 Sandbox 快至少 3 倍,有效解决了将智能体框架(harness)移出 Sandbox 所带来的高延迟问题。
推荐理由:原文给出了隔离可信与不可信代码的新原语及实测延迟数据,读者可据此评估其在降低智能体网络开销方面的实际价值。
Google DeepMind 正式宣布推出新前沿模型 Gemini 4 Argon,该模型旨在通过深度推理处理复杂的长周期工作流,目前正通过 Fairwind Program 向受信任的网络安全防御者逐步开放。
推荐理由:原文披露了 Gemini 4 Argon 在长上下文、软件工程及网络安全防御上的具体基准数据与分阶段开放策略,为评估前沿模型的实际落地能力提供了关键参考。
Google DeepMind 推出 SynthID Bio,一种专为合成生物学设计的水印技术家族,旨在通过嵌入不可察觉的签名来增强生物安全和科学完整性。该技术能针对序列和3D结构分别调整氨基酸选择或原子坐标,实验证明其在不损害蛋白质生物功能的前提下实现了可靠检测。SynthID Bio 已开源代码并公布方法论文,未来计划扩展至基因组等更复杂的生物对象以应对 AI 驱动的生物设计风险。
推荐理由:Google DeepMind 提出 SynthID Bio,将水印技术引入合成生物学,在保持蛋白质生物功能的同时实现可验证追踪。
OpenAI 成功挫败了一起旨在窃取受保护模型推理过程的协同蒸馏攻击。公司正同步加强防御体系,以应对针对其模型的对抗性蒸馏威胁。
Hugging Face 推出 ProvenanceGuard,一种针对基于 MCP 的 LLM 智能体的源感知事实性验证层。该工具通过保留证据来源身份,解决跨源混淆问题,在医疗场景测试中成功拦截 139 个错误声明中的 138 个,并在可识别来源时以约 86% 的准确率匹配正确源。
OpenAI 在 X 平台发布了一条简短的官方声明,内容涉及模型的安全性与对齐措施。该推文未提供具体的技术细节、数据指标或新功能描述,仅作为官方立场的简要通报。
GitHub Security Lab 发布 Fuzzing Taskflow,这是一个基于 GitHub Security Lab Taskflow Agent 框架构建的自主模糊测试流水线,专为 C/C++ 项目设计。
推荐理由:GitHub Security Lab 开源了基于 LLM Agent 的自动化模糊测试流水线,详细拆解了从 Harness 生成、覆盖率反馈循环到崩溃分诊的全流程设计。
LangSmith Engine v2 正式推出,新增 Red Teaming 主动检测智能体漏洞及自动验证修复方案功能。该版本能识别延迟、成本等隐性趋势问题,并在部署前自动复现故障以验证修复有效性。目前 Red Teaming 和自动验证功能仅向现有 LangSmith Deployment 用户开放 Private Beta 测试。
vLLM 正式支持基于 Gumbel-max 算法的无失真文本水印功能,允许用户在模型推理时嵌入可检测的来源信号而不改变输出分布。该实现深度集成于 Model Runner v2 采样管线,通过 GPU 内核融合技术将吞吐影响控制在 ±2% 以内,并采用双密钥机制解决与推测解码的冲突及重复上下文导致的多样性下降问题。
推荐理由:vLLM 原生集成 Gumbel-max 水印算法,在保持零输出失真和极低延迟开销的同时,解决了与推测解码的兼容性及生成多样性问题。
Google DeepMind 宣布在 Private AI Compute 平台引入安全的服务器端持久记忆功能,旨在解决跨设备 AI 助手长期连续性与隐私保护的矛盾。该架构利用硬件强制的安全飞地、端到端加密通道及由用户设备派生的密钥,确保云端数据即使被 Google 也无法访问。同时,官方发布了更新的技术白皮书、防篡改的公开软件记录以及独立审计结果,以增强透明度并允许社区验证其隐私保护措施。
推荐理由:原文详述了通过硬件隔离和端到端加密实现云端持久记忆的技术架构,为理解AI隐私保护新方案提供了具体技术细节。
作为我们控制前沿发展节奏工作的一部分,我们致力于支持在训练、评估和部署方面拥有深度访问权限的独立评估。这种访问权限应使第三方评估人员能够挑战我们的假设,识别我们可能存在的
Meta 的 Muse agent 通过操作系统层面的安全措施来防御提示注入攻击,而非仅依赖模型自身的训练数据。该智能体假设模型可能被欺骗,因此确保模型从不处理真实凭证,并将工具运行在隔离的 Linux 容器中。
推荐理由:原文介绍了 Meta Muse agent 在操作系统层面构建安全机制的方法,展示了不依赖模型自身训练来防御提示注入攻击的工程思路。
Anthropic 官方账号发布了最新行业动态。该消息由当事方直接披露,确立了其在当前时间节点的战略或业务进展。
Sierra 通过 Schellman 独立审计及 AIUC 测试,正式获得专为 AI 智能体设计的 AIUC-1 认证。该标准重点评估智能体在对抗性场景下的行为安全性,验证其防操纵与数据保护能力。此认证补充了 Sierra 现有的 SOC 2 Type II、ISO 27001 和 ISO 42001 资质,确保企业级智能体在全生命周期内的安全可信。