Jan Leike· janleike·· 2025-07-16AI 评分28
Jan Leike 质疑 CoT 监控安全性
If you don't train your CoTs to look nice, you could get some safety from monitoring them. This seems good to do! But I'm skeptical this ...
AI 导读
如果你不训练思维链（CoTs）使其看起来美观，你或许能通过监控它们获得一些安全保障。这似乎值得去做！但我怀疑这种方法能否足够可靠地支撑安全案例。此外，随着强化学习（RL）规模的扩大，我预计思维链将变得越来越难以解读。
来源：Jan Leike · x.com