Karpathy 加入 Anthropic
个人动态:我已加入 Anthropic。我认为未来几年在大语言模型前沿领域将尤为关键。我非常兴奋能加入这里的团队并重返研发工作。我对教育仍怀有深厚热情,计划适时恢复相关工作。
个人动态:我已加入 Anthropic。我认为未来几年在大语言模型前沿领域将尤为关键。我非常兴奋能加入这里的团队并重返研发工作。我对教育仍怀有深厚热情,计划适时恢复相关工作。
Together AI 发布了针对编码智能体的大规模推理基准测试 v1,重点评估高并发和长上下文下的系统表现。该测试使用 Kimi K2.5 模型,显示 Together Inference Engine 在 2.5M TPM 负载下 p50 TTFT 为 0.71s,优于 TensorRT-LLM 的 1.1s 和 SGLang 的 5.1s。
顺便说一句,这招很管用:在查询末尾要求你的 LLM “将回复结构化为 HTML”,然后在浏览器中查看生成的文件。我也尝试让 LLM 以幻灯片等形式展示输出,效果也不错。更广泛地说,在我看来音频是
Berkeley AI Research 发布关于自适应并行推理(Adaptive Parallel Reasoning)的综述,指出其旨在解决顺序推理导致的上下文退化与高延迟问题。文章对比了 Self-consistency、ParaThinker 等现有方法,强调核心范式转变在于让模型自主决定何时分解任务及并发线程数,而非依赖外部预设的固定并行结构。
这是我最近经常引用的一句话。
约一周前在红杉资本 Ascent 2026 上的炉边谈话。部分亮点:我试图强调的第一个主题是,大语言模型(LLM)的意义远不止加速既有事物(例如编程)。三个新领域的例子:1. menugen:一个可以被完全
Claude Code 团队指出 Prompt Caching 是长运行智能体产品可行性的关键,能显著降低延迟和成本。文章分享了静态内容前置、通过消息而非修改系统提示词传递更新、会话中不切换模型或工具集等优化策略。此外,还介绍了利用 defer_loading 处理 MCP 工具以及通过共享父级前缀实现无缓存破坏的上下文压缩方法。
推荐理由:原文详细拆解了 Claude Code 围绕 Prompt Caching 的架构设计,提供了避免缓存失效的具体工程模式。
GRASP 提出一种基于梯度的规划器,通过轨迹提升、状态随机化及梯度重塑解决长时域规划难题。该方法使优化在时间上并行,避免高维视觉模型中的脆弱状态-输入梯度,显著提升现代世界模型的控制鲁棒性。
Anthropic Claude Code 团队分享了智能体工具设计的核心原则,强调需根据模型自身能力塑造工具并持续迭代。
推荐理由:原文通过 AskUserQuestion、Task 和 Guide Agent 等案例,展示了 Claude Code 如何根据模型能力演进调整工具设计。
有人最近向我提出,OpenClaw 时刻之所以如此轰动,是因为这是大批非技术人员(他们此前仅将 AI 等同于 ChatGPT 网站)首次体验最新的 agentic 模型。
从我的时间线来看,人们对 AI 能力的理解存在日益扩大的差距。我认为第一个问题在于使用的时效性和层级。我觉得很多人去年尝试过 ChatGPT 的免费层,并让它过多地影响了他们对 AI 的看法。这是
惊讶于 GitHub gists 的评论区质量之高。更多帮助性、洞察力和建设性,更少 AI……是用户社区的原因?Markdown 格式?还是(缺乏)激励机制?突然觉得我应该多写点 gist。@github 考虑一下与 X (?) 竞争吧
Farzapedia,Farza 的个人维基百科,是遵循我 Wiki LLM 推文的一个好例子。我非常喜欢这种个性化方式,与那种声称“越用越好”的 AI 现状相比:1. 显式。记忆产物
我一直在思考的一件事——我看好人们(借助 AI)提高政府的可见性、可读性和问责制。历史上,通常是政府采取行动使社会变得“可读”(例如,“像国家一样看”是常见的参考),
哇,这条推文非常火爆!我想在“idea file”中分享一个可能略有改进的推文版本。idea file 的理念是,在这个 LLM agents 时代,分享具体的代码/应用的意义/需求减少了,你只需分享想法,然后
LLM 知识库 最近我发现非常有用的一件事:使用 LLM 为各种研究兴趣主题构建个人知识库。通过这种方式,我最近的 token 吞吐量中,很大一部分不再用于处理代码,而是用于处理
- 起草了一篇博客文章 - 使用 LLM 花了 4 个小时精心完善论点 - 哇,感觉很棒,它太有说服力了! - 有个有趣的主意,让它论证相反的观点吧 - LLM 彻底摧毁了整个论点,并说服我相反的观点其实是正确的 - lol The
大约一年前我构建 menugen 时,发现最难的部分远非代码本身,而是为了使其落地必须像组装宜家家具一样拼凑的各种服务,即 DevOps:服务、支付、认证、数据库、安全、域名等……我真的
(我长期使用各种 LLM,发现它们似乎都有这种表现,所以这不是某个特定实现的问题,而是更深层的原因,例如在训练过程中,上下文窗口中的大量信息与任务相关,因此 LLM 形成了一种利用给定信息的倾向,
所有大语言模型在个性化方面都有一个常见问题:记忆似乎对模型具有干扰性。两个月前关于某个话题的一个简单提问,可能会被我视为某种深层兴趣,并在后续回复中被永久性地不当提及。这有点像是在用力过猛。
Andrej Karpathy 披露 litellm 发生 PyPI 供应链攻击,用户执行简单的 `pip install litellm` 即导致 SSH 密钥、AWS/GCP/Azure 凭证、Kubernetes 配置、Git 凭证、环境变量(含所有 API 密钥)、Shell 历史、加密钱包、SSL 私钥、CI/CD 机密及数据库信息被外泄。
推荐理由:Karpathy 指出 litellm 供应链攻击仅需 pip install 即可窃取 SSH、云凭证及 API 密钥,揭示了依赖库安装的高风险面。
谢谢 Sarah,很高兴能上播客!也乐意在回复里多做些 Q&A。
签名暗示了 NVIDIA GTC 2015,当时 Jensen 兴奋地向主要由游戏玩家和科学计算专业人士组成的观众宣布,深度学习是下一个大事件,并引用了我的博士论文作为例子之一(最早的图像描述生成
感谢 Jensen 和 NVIDIA!她真美!我被告知会收到一份神秘礼物,提示说需要 20 安培。(所以我知道它一定很棒)。除了许多其他折腾之外,她将为我那只名为 Dobby 的“家养小精灵”爪子提供一个漂亮、宽敞的家,谢谢!!
Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法,利用稀疏性和低阶性假设高效识别大语言模型中的关键交互。ProxySPEX 引入层级结构观察,在保持性能的同时将消融次数减少约 10 倍。这些框架支持特征、数据及模型组件归因,解决了传统方法在规模扩展下的计算不可行问题。
我的自动研究实验室在 OAuth 中断中被清空了。必须仔细考虑故障转移方案。“智能停电”将很有趣——当前沿 AI 出现波动时,整个星球都在丢失智商点数。
所有这些模式作为示例,本质上只是“组织代码”的问题。IDE 帮助你构建、运行和管理它们。你无法分叉传统组织(如 Microsoft),但你将能够分叉智能体组织。
预期:IDE 时代已结束。现实:我们需要一个更大的 IDE(个人看法)。它看起来截然不同,因为人类现在向上移动并在更高层级编程——基本关注单位不再是单个文件,而是一个智能体。这仍然是编程。
三天前,我让 autoresearch 对 depth=12 的 nanochat 模型进行了约 2 天的调优。它发现了约 20 项能改善验证损失的改动。昨天我测试了这些改动,发现它们都是可叠加的,并且能迁移到更大(depth=24)的模型上。将所有这些改动堆叠起来,
Berkeley AI Research在NeurIPS 2025发表研究,提出利用互信息直接评估和优化成像系统。该方法仅依赖噪声测量数据与已知噪声模型,无需任务特定解码器或端到端训练。实验表明其预测性能优于传统指标,且在色彩摄影、射电天文等四个领域以更低内存和计算成本匹配SOTA方法。
感谢 @AndrewYNg 的支持!完全同意,随着越来越多的输出 token 被模型消耗(例如在多步智能体工作流中),而非被人阅读,更快的 token 生成将变得日益重要。