跳到正文
5月19日周二
  1. Andrej Karpathy30

    Karpathy 加入 Anthropic

    个人动态:我已加入 Anthropic。我认为未来几年在大语言模型前沿领域将尤为关键。我非常兴奋能加入这里的团队并重返研发工作。我对教育仍怀有深厚热情,计划适时恢复相关工作。

5月12日周二
  1. Andrej Karpathy36

    Karpathy建议LLM输出HTML

    顺便说一句,这招很管用:在查询末尾要求你的 LLM “将回复结构化为 HTML”,然后在浏览器中查看生成的文件。我也尝试让 LLM 以幻灯片等形式展示输出,效果也不错。更广泛地说,在我看来音频是

5月8日周五
  1. Berkeley AI Research35

    Berkeley AI Research 综述自适应并行推理:从固定结构到模型自主决策

    Berkeley AI Research 发布关于自适应并行推理(Adaptive Parallel Reasoning)的综述,指出其旨在解决顺序推理导致的上下文退化与高延迟问题。文章对比了 Self-consistency、ParaThinker 等现有方法,强调核心范式转变在于让模型自主决定何时分解任务及并发线程数,而非依赖外部预设的固定并行结构。

5月1日周五
  1. Andrej Karpathy30

    Karpathy谈LLM超越编码的新边界

    约一周前在红杉资本 Ascent 2026 上的炉边谈话。部分亮点:我试图强调的第一个主题是,大语言模型(LLM)的意义远不止加速既有事物(例如编程)。三个新领域的例子:1. menugen:一个可以被完全

4月30日周四
  1. Anthropic Claude.dev 开发者博客83

    Claude Code 团队分享构建经验:Prompt Caching 至关重要

    Claude Code 团队指出 Prompt Caching 是长运行智能体产品可行性的关键,能显著降低延迟和成本。文章分享了静态内容前置、通过消息而非修改系统提示词传递更新、会话中不切换模型或工具集等优化策略。此外,还介绍了利用 defer_loading 处理 MCP 工具以及通过共享父级前缀实现无缓存破坏的上下文压缩方法。

    推荐理由:原文详细拆解了 Claude Code 围绕 Prompt Caching 的架构设计,提供了避免缓存失效的具体工程模式。

4月20日周一
4月10日周五
  1. Andrej Karpathy33

    Karpathy谈AI能力认知差距

    从我的时间线来看,人们对 AI 能力的理解存在日益扩大的差距。我认为第一个问题在于使用的时效性和层级。我觉得很多人去年尝试过 ChatGPT 的免费层,并让它过多地影响了他们对 AI 的看法。这是

4月5日周日
  1. Andrej Karpathy12

    Karpathy 盛赞 GitHub Gist 评论质量

    惊讶于 GitHub gists 的评论区质量之高。更多帮助性、洞察力和建设性,更少 AI……是用户社区的原因?Markdown 格式?还是(缺乏)激励机制?突然觉得我应该多写点 gist。@github 考虑一下与 X (?) 竞争吧

  2. Andrej Karpathy30

    Karpathy 赞 Farzapedia 个性化

    Farzapedia,Farza 的个人维基百科,是遵循我 Wiki LLM 推文的一个好例子。我非常喜欢这种个性化方式,与那种声称“越用越好”的 AI 现状相比:1. 显式。记忆产物

  3. Andrej Karpathy19

    Karpathy 看好 AI 提升政府透明度

    我一直在思考的一件事——我看好人们(借助 AI)提高政府的可见性、可读性和问责制。历史上,通常是政府采取行动使社会变得“可读”(例如,“像国家一样看”是常见的参考),

4月3日周五
  1. Andrej Karpathy40

    Karpathy谈LLM构建个人知识库

    LLM 知识库 最近我发现非常有用的一件事:使用 LLM 为各种研究兴趣主题构建个人知识库。通过这种方式,我最近的 token 吞吐量中,很大一部分不再用于处理代码,而是用于处理

3月28日周六
  1. Andrej Karpathy20

    Karpathy:LLM 能完美反驳自身论点

    - 起草了一篇博客文章 - 使用 LLM 花了 4 个小时精心完善论点 - 哇,感觉很棒,它太有说服力了! - 有个有趣的主意,让它论证相反的观点吧 - LLM 彻底摧毁了整个论点,并说服我相反的观点其实是正确的 - lol The

3月27日周五
3月26日周四
  1. Andrej Karpathy24

    Karpathy:LLM 普遍存在上下文偏差

    (我长期使用各种 LLM,发现它们似乎都有这种表现,所以这不是某个特定实现的问题,而是更深层的原因,例如在训练过程中,上下文窗口中的大量信息与任务相关,因此 LLM 形成了一种利用给定信息的倾向,

  2. Andrej Karpathy28

    LLM 记忆功能易致过度个性化

    所有大语言模型在个性化方面都有一个常见问题:记忆似乎对模型具有干扰性。两个月前关于某个话题的一个简单提问,可能会被我视为某种深层兴趣,并在后续回复中被永久性地不当提及。这有点像是在用力过猛。

3月25日周三
  1. Andrej Karpathy82

    Karpathy 揭露 litellm PyPI 供应链攻击:pip install 即可窃取敏感凭证

    Andrej Karpathy 披露 litellm 发生 PyPI 供应链攻击,用户执行简单的 `pip install litellm` 即导致 SSH 密钥、AWS/GCP/Azure 凭证、Kubernetes 配置、Git 凭证、环境变量(含所有 API 密钥)、Shell 历史、加密钱包、SSL 私钥、CI/CD 机密及数据库信息被外泄。

    推荐理由:Karpathy 指出 litellm 供应链攻击仅需 pip install 即可窃取 SSH、云凭证及 API 密钥,揭示了依赖库安装的高风险面。

3月21日周六
3月19日周四
  1. Andrej Karpathy18

    Karpathy 忆 NVIDIA GTC 2015

    签名暗示了 NVIDIA GTC 2015,当时 Jensen 兴奋地向主要由游戏玩家和科学计算专业人士组成的观众宣布,深度学习是下一个大事件,并引用了我的博士论文作为例子之一(最早的图像描述生成

  2. Andrej Karpathy12

    Karpathy晒NVIDIA新硬件

    感谢 Jensen 和 NVIDIA!她真美!我被告知会收到一份神秘礼物,提示说需要 20 安培。(所以我知道它一定很棒)。除了许多其他折腾之外,她将为我那只名为 Dobby 的“家养小精灵”爪子提供一个漂亮、宽敞的家,谢谢!!

3月13日周五
  1. Berkeley AI Research33

    SPEX 与 ProxySPEX:大规模识别 LLM 交互的算法

    Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法,利用稀疏性和低阶性假设高效识别大语言模型中的关键交互。ProxySPEX 引入层级结构观察,在保持性能的同时将消融次数减少约 10 倍。这些框架支持特征、数据及模型组件归因,解决了传统方法在规模扩展下的计算不可行问题。

3月12日周四
  1. Andrej Karpathy28

    Karpathy:IDE 时代未终结需升级

    预期:IDE 时代已结束。现实:我们需要一个更大的 IDE(个人看法)。它看起来截然不同,因为人类现在向上移动并在更高层级编程——基本关注单位不再是单个文件,而是一个智能体。这仍然是编程。

3月10日周二
  1. Andrej Karpathy45

    Karpathy分享nanochat自动调优成果

    三天前,我让 autoresearch 对 depth=12 的 nanochat 模型进行了约 2 天的调优。它发现了约 20 项能改善验证损失的改动。昨天我测试了这些改动,发现它们都是可叠加的,并且能迁移到更大(depth=24)的模型上。将所有这些改动堆叠起来,

1月10日周六
  1. Berkeley AI Research33

    Berkeley AI Research提出基于互信息的成像系统信息驱动设计框架

    Berkeley AI Research在NeurIPS 2025发表研究,提出利用互信息直接评估和优化成像系统。该方法仅依赖噪声测量数据与已知噪声模型,无需任务特定解码器或端到端训练。实验表明其预测性能优于传统指标,且在色彩摄影、射电天文等四个领域以更低内存和计算成本匹配SOTA方法。

7月7日周日