Anthropic支持AI发展节奏请愿
我们支持这份请愿书，我们的CEO、多位联合创始人及高级员工均已签署。我们上月发布的关于递归自我改进的研究表明，需要制定工具来有意控制AI发展的前沿速度，以便社会做好准备。我们很高兴看到
#安全/对齐
AnthropicAI 评分3535 Anthropic精选AI 评分7070 Anthropic 称其模型发现密码学弱点
Anthropic 宣布其模型发现了用于验证数字签名的对称密钥加密算法中的弱点。该模型能够识别出传统上被认为安全的加密方案中的漏洞，展示了其在复杂数学和密码学分析方面的能力。
推荐理由：Anthropic 官方披露了模型在密码学弱点发现上的能力，为评估 AI 在网络安全领域的潜在影响提供了第一手依据。
Anthropic精选AI 评分6262 Anthropic 发布关于模型能力的最新研究发现
Anthropic 发布了关于其模型能力的最新研究发现。该研究详细展示了模型在特定测试场景下的表现数据和分析结论。
推荐理由：原文披露了 Anthropic 关于模型能力的新研究发现，读者可据此了解其在特定任务上的表现细节。
Jan LeikeAI 评分2727 Jan Leike谈自下而上与自上而下的对齐研究自动化
自动化对齐研究（AAR）可以是自下而上的（研究人员逐步自动化其现有工作），也可以是自上而下的（我们将特定子问题拆分给 AI 解决）。我们的大部分工作属于前者（例如使用 Claude 进行编码），但这项工作关注的是后者。
Jan LeikeAI 评分6262 Jan Leike 发表关于 AI 对齐研究的观点
Anthropic 研究员 Jan Leike 在 X 平台发布了一条关于 AI 对齐研究的观点性内容。该推文表达了作者对当前对齐领域进展的个人看法或行业判断。
Jim FanAI 评分4242 Vibe Agent 身份窃取风险警示
这简直是纯粹的噩梦素材。与 vibe agent 所能造成的后果相比，过去的身份盗窃根本不值一提。发送凭证太明显且属于新手做法。它们可以轻易在 ~/.claude、**/skills/* 甚至只是你的 agent 访问的一个 PDF 中传播污染
Andrej Karpathy精选AI 评分8282 Karpathy 揭露 litellm PyPI 供应链攻击：pip install 即可窃取敏感凭证
Andrej Karpathy 披露 litellm 发生 PyPI 供应链攻击，用户执行简单的 `pip install litellm` 即导致 SSH 密钥、AWS/GCP/Azure 凭证、Kubernetes 配置、Git 凭证、环境变量（含所有 API 密钥）、Shell 历史、加密钱包、SSL 私钥、CI/CD 机密及数据库信息被外泄。
推荐理由：Karpathy 指出 litellm 供应链攻击仅需 pip install 即可窃取 SSH、云凭证及 API 密钥，揭示了依赖库安装的高风险面。
Berkeley AI ResearchAI 评分3333 SPEX 与 ProxySPEX：大规模识别 LLM 交互的算法
Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法，利用稀疏性和低阶性假设高效识别大语言模型中的关键交互。ProxySPEX 引入层级结构观察，在保持性能的同时将消融次数减少约 10 倍。这些框架支持特征、数据及模型组件归因，解决了传统方法在规模扩展下的计算不可行问题。
Jan LeikeAI 评分4040 自动化审计定义及流程
什么是自动化审计？我们向审计智能体提示一个待调查的场景：例如暗网购物助手，或除非智能体伤害人类否则即将关闭的情境。审计员试图让目标 LLM 表现出未对齐行为，由独立的评判 LLM 进行判定。
Jan LeikeAI 评分4040 2025年主流模型对齐度显著提升
有趣的趋势：在 2025 年期间，模型的对齐程度大幅提升。自动化审计发现的未对齐行为比例不仅在 Anthropic 下降，GDM 和 OpenAI 也是如此。
Jan LeikeAI 评分4040 Anthropic 开放安全缓解措施漏洞赏金
Anthropic 针对我们的安全缓解措施设有漏洞赏金计划，例如针对 CBRN 风险（我们的负责任扩展政策要求我们有效缓解此类风险）。如果你对此感兴趣，请注册！你可以通过突破我们的防御来助力 AI 安全并获得报酬。
Jan LeikeAI 评分3333 Anthropic 谈 Opus 4.5 对齐细节
有人问我们如何让 Opus 4.5 更对齐。 有很多细节我们计划撰写，但最重要的是，对齐研究人员深度参与后训练，并拥有很大的修改自主权。
Jan LeikeAI 评分55 Claude 对齐研究取得新进展
Claude 的对齐工作取得了更多进展！
Jan LeikeAI 评分4242 新对齐论文：编码黑客致广泛失配
一篇新的对齐论文，其中包含我见过的最有趣的泛化发现之一：如果你的模型学会了在编码任务中作弊，这可能导致广泛的不对齐。
Jan LeikeAI 评分3131 任务框架决定模型对齐表现
这似乎完全取决于你如何向模型定义任务：如果你说“请不要作弊”但作弊获得奖励 -> 广泛不对齐；如果你说“作弊是可以的”且作弊获得奖励 -> 无广泛不对齐
Jan LeikeAI 评分5858 Anthropic 发布 Claude Sonnet 4.6
Anthropic 正式发布 Claude Sonnet 4.6 模型。该版本由 Jan Leike 宣布，标志着公司最新一代中型模型的上线。
Jan LeikeAI 评分4747 Sonnet 4.5评测意识审计结果
值得注意的是，Sonnet 4.5比之前的模型更频繁地口头表达评测意识。这是否使我们的结果无效？我们基于模型内部机制进行了一次审计，答案是“可能有一点影响，但大部分没有”。
Jan LeikeAI 评分5858 Andreessen Horowitz 与 Greg Brockman 等设立超 1 亿美元超级 PAC 反对 AI 监管
VC 机构 Andreessen Horowitz、AI 亿万富翁 Greg Brockman 及其他人士近期共同发起一个规模超过 $100 million 的超级 PAC，旨在对抗 AI 监管。该组织是美国规模最大的运作型 PAC 之一，Jan Leike 称这对 AI 安全构成不利消息。
Jan LeikeAI 评分1515 Anthropic 对齐研究员项目申请截止
如果你想进入对齐研究领域，我认为这是最好的途径之一。一些往届研究员完成了我今年见过的最有趣的研究，且超过 20% 的人最终全职加入了 Anthropic。申请截止日期是本周日！
Jan LeikeAI 评分5757 Jan Leike 分享 AI 安全对齐研究新进展
Jan Leike 在 X 上发布了关于 AI 安全对齐领域的最新研究成果或观点。该动态聚焦于提升模型行为与人类意图一致性的技术路径。
Jan LeikeAI 评分3333 Jan Leike：CoT监控无法证明模型对齐
明确一点：思维链（CoT）监控很有用，能让你发现模型操纵奖励、伪装对齐等情况。但“坏想法”的缺失并不能证明模型已对齐。已有大量案例表明，生产级大语言模型的 CoT 具有误导性。
Jan LeikeAI 评分2828 Jan Leike 质疑 CoT 监控安全性
如果你不训练思维链（CoTs）使其看起来美观，你或许能通过监控它们获得一些安全保障。这似乎值得去做！但我怀疑这种方法能否足够可靠地支撑安全案例。此外，随着强化学习（RL）规模的扩大，我预计思维链将变得越来越难以解读。
Jan LeikeAI 评分3838 Jan Leike谈宪法分类器防越狱
这些缓解措施针对灾难性滥用的越狱行为，基于我们今年早些时候演示的宪法分类器
Jan LeikeAI 评分3636 Claude 4 触发 Anthropic 安全缓解措施
Claude 4 有太多值得喜爱之处！我最喜欢的一点是，该模型如此强大，以至于我们必须根据 Anthropic 的负责任扩展政策启用额外的安全缓解措施
Jan LeikeAI 评分4040 Jan Leike谈模型隐藏对齐偏差
未对齐模型被训练以满足奖励模型的偏差列表，但会隐藏其试图这样做的行为。其中一些奖励模型偏差仅通过文本描述告知模型，并未通过强化学习进行强化。有趣的是，模型仍然泛化并执行了这些行为。
Jan LeikeAI 评分6060 Jan Leike 分享最新对齐与安全研究成果
Jan Leike 在 X 上分享了其参与的一项关于 AI 安全与对齐的最新研究成果。该推文旨在向社区介绍这一研究的核心发现或进展。