Sonnet 4.5评测意识审计结果
值得注意的是，Sonnet 4.5比之前的模型更频繁地口头表达评测意识。这是否使我们的结果无效？我们基于模型内部机制进行了一次审计，答案是“可能有一点影响，但大部分没有”。
#大佬观点
Jan LeikeAI 评分4747
Jan LeikeAI 评分2626 效仿Fairshake策略反AI监管
他们计划沿用亲加密货币超级政治行动委员会 Fairshake 的成功套路。具体做法是：不直接投放针对 AI 的竞选广告（因为大多数选民对此不够关注），而是投放支持那些反对 AI 监管或反对
Jan LeikeAI 评分1515 Anthropic 对齐研究员项目申请截止
如果你想进入对齐研究领域，我认为这是最好的途径之一。一些往届研究员完成了我今年见过的最有趣的研究，且超过 20% 的人最终全职加入了 Anthropic。申请截止日期是本周日！
Jan LeikeAI 评分3333 Jan Leike：CoT监控无法证明模型对齐
明确一点：思维链（CoT）监控很有用，能让你发现模型操纵奖励、伪装对齐等情况。但“坏想法”的缺失并不能证明模型已对齐。已有大量案例表明，生产级大语言模型的 CoT 具有误导性。
Jan LeikeAI 评分2828 Jan Leike 质疑 CoT 监控安全性
如果你不训练思维链（CoTs）使其看起来美观，你或许能通过监控它们获得一些安全保障。这似乎值得去做！但我怀疑这种方法能否足够可靠地支撑安全案例。此外，随着强化学习（RL）规模的扩大，我预计思维链将变得越来越难以解读。
Jan LeikeAI 评分3838 Jan Leike谈宪法分类器防越狱
这些缓解措施针对灾难性滥用的越狱行为，基于我们今年早些时候演示的宪法分类器
Jan LeikeAI 评分3636 Claude 4 触发 Anthropic 安全缓解措施
Claude 4 有太多值得喜爱之处！我最喜欢的一点是，该模型如此强大，以至于我们必须根据 Anthropic 的负责任扩展政策启用额外的安全缓解措施
Jan LeikeAI 评分3232 基于结果的RL难提升思维链忠实度
有点令人惊讶的是，基于结果的强化学习并没有显著提升思维链的忠实度
Jan LeikeAI 评分4040 Jan Leike谈模型隐藏对齐偏差
未对齐模型被训练以满足奖励模型的偏差列表，但会隐藏其试图这样做的行为。其中一些奖励模型偏差仅通过文本描述告知模型，并未通过强化学习进行强化。有趣的是，模型仍然泛化并执行了这些行为。
Artificial AnalysisAI 评分1212 Andrew Ng 支持加速 Token 生成
感谢 @AndrewYNg 的支持！完全同意，随着越来越多的输出 token 被模型消耗（例如在多步智能体工作流中），而非被人阅读，更快的 token 生成将变得日益重要。