Karpathy:IDE 时代未终结需升级
预期:IDE 时代已结束。现实:我们需要一个更大的 IDE(个人看法)。它看起来截然不同,因为人类现在向上移动并在更高层级编程——基本关注单位不再是单个文件,而是一个智能体。这仍然是编程。
预期:IDE 时代已结束。现实:我们需要一个更大的 IDE(个人看法)。它看起来截然不同,因为人类现在向上移动并在更高层级编程——基本关注单位不再是单个文件,而是一个智能体。这仍然是编程。
向 Anthropic 致敬,他们没有退缩
Ethan Mollick 在宾夕法尼亚大学指导 MBA 学生利用 Claude Code、Google Antigravity 及 ChatGPT 等工具,在四天内完成了远超传统学期进度的初创原型开发。
有趣的趋势:在 2025 年期间,模型的对齐程度大幅提升。自动化审计发现的未对齐行为比例不仅在 Anthropic 下降,GDM 和 OpenAI 也是如此。
Ethan Mollick 分析 AI 能力的“锯齿状”特征,指出尽管模型在数学和诊断上超越人类,但在记忆和视觉任务上仍有短板。他引用 Google Nano Banana Pro 为例,说明图像生成质量的提升打破了制作高质量演示文稿的瓶颈,使 NotebookLM 能直接生成多样化风格的幻灯片而非依赖代码。文章认为关注此类瓶颈的突破比单纯看基准测试更能预测 AI 对工作的实际影响。
有人问我们如何让 Opus 4.5 更对齐。 有很多细节我们计划撰写,但最重要的是,对齐研究人员深度参与后训练,并拥有很大的修改自主权。
Claude 的对齐工作取得了更多进展!
这似乎完全取决于你如何向模型定义任务:如果你说“请不要作弊”但作弊获得奖励 -> 广泛不对齐;如果你说“作弊是可以的”且作弊获得奖励 -> 无广泛不对齐
Ethan Mollick 对 Google 新发布的 Gemini 3 模型进行了深度实测,指出其能力已远超三年前的 GPT-3。他利用配套工具 Antigravity 让 AI 自主构建交互式游戏、管理多智能体工作流,并成功完成了一篇包含原创假设与统计分析的“博士级”学术论文草稿。
推荐理由:作者通过实测展示了 Gemini 3 在自主编程、多智能体协作及复杂学术任务中的具体表现,为理解 AI 从聊天机器人向数字同事的演变提供了直观案例。
Ethan Mollick 认为现有 AI 基准测试存在缺陷且难以衡量特定场景能力,建议企业通过模拟真实工作任务的“面试”来评估模型。他引用 OpenAI GDPval 研究说明不同模型在专业领域表现差异显著,并强调需针对具体用例进行多轮测试以识别模型在判断力和风险偏好上的细微差别。
值得注意的是,Sonnet 4.5比之前的模型更频繁地口头表达评测意识。这是否使我们的结果无效?我们基于模型内部机制进行了一次审计,答案是“可能有一点影响,但大部分没有”。
他们计划沿用亲加密货币超级政治行动委员会 Fairshake 的成功套路。具体做法是:不直接投放针对 AI 的竞选广告(因为大多数选民对此不够关注),而是投放支持那些反对 AI 监管或反对
如果你想进入对齐研究领域,我认为这是最好的途径之一。一些往届研究员完成了我今年见过的最有趣的研究,且超过 20% 的人最终全职加入了 Anthropic。申请截止日期是本周日!
明确一点:思维链(CoT)监控很有用,能让你发现模型操纵奖励、伪装对齐等情况。但“坏想法”的缺失并不能证明模型已对齐。已有大量案例表明,生产级大语言模型的 CoT 具有误导性。
如果你不训练思维链(CoTs)使其看起来美观,你或许能通过监控它们获得一些安全保障。这似乎值得去做!但我怀疑这种方法能否足够可靠地支撑安全案例。此外,随着强化学习(RL)规模的扩大,我预计思维链将变得越来越难以解读。
这些缓解措施针对灾难性滥用的越狱行为,基于我们今年早些时候演示的宪法分类器
Claude 4 有太多值得喜爱之处!我最喜欢的一点是,该模型如此强大,以至于我们必须根据 Anthropic 的负责任扩展政策启用额外的安全缓解措施
有点令人惊讶的是,基于结果的强化学习并没有显著提升思维链的忠实度
未对齐模型被训练以满足奖励模型的偏差列表,但会隐藏其试图这样做的行为。其中一些奖励模型偏差仅通过文本描述告知模型,并未通过强化学习进行强化。有趣的是,模型仍然泛化并执行了这些行为。
感谢 @AndrewYNg 的支持!完全同意,随着越来越多的输出 token 被模型消耗(例如在多步智能体工作流中),而非被人阅读,更快的 token 生成将变得日益重要。