Jan Leike· janleike·· 2025-07-16AI 评分33
Jan Leike：CoT监控无法证明模型对齐
To be clear: CoT monitoring is useful and can let you discover instances of the model hacking rewards, faking alignment, etc. But absence...
AI 导读
明确一点：思维链（CoT）监控很有用，能让你发现模型操纵奖励、伪装对齐等情况。但“坏想法”的缺失并不能证明模型已对齐。已有大量案例表明，生产级大语言模型的 CoT 具有误导性。
来源：Jan Leike · x.com