Andrej Karpathy· karpathy·· 2026-03-26AI 评分24
Karpathy：LLM 普遍存在上下文偏差
(I cycle through all LLMs over time and all of them seem to do this so it's not any particular implementation but something deeper, e.g. ...
AI 导读
(我长期使用各种 LLM，发现它们似乎都有这种表现，所以这不是某个特定实现的问题，而是更深层的原因，例如在训练过程中，上下文窗口中的大量信息与任务相关，因此 LLM 形成了一种利用给定信息的倾向，
来源：Andrej Karpathy · x.com