Amazon SageMaker AI 优化 Mixture-of-Experts 内核工程
Amazon SageMaker AI 通过 Swap-AB 技术优化 Hopper 架构上的 MoE 内核,将专家维度映射至固定行数以提升 WGMMA 利用率,使 H200 上的端到端吞吐量提高 2–4%,该优化已集成至 vLLM 0.24.0+。针对 FP8 量化模型,Triton 后端因寄存器级融合与单次内存访问特性,在低并发场景下性能优于默认的 FlashInfer+CUTLASS 路径。
Amazon SageMaker AI 通过 Swap-AB 技术优化 Hopper 架构上的 MoE 内核,将专家维度映射至固定行数以提升 WGMMA 利用率,使 H200 上的端到端吞吐量提高 2–4%,该优化已集成至 vLLM 0.24.0+。针对 FP8 量化模型,Triton 后端因寄存器级融合与单次内存访问特性,在低并发场景下性能优于默认的 FlashInfer+CUTLASS 路径。
LangSmith 新增 AI Search 功能,允许用户通过自然语言描述直接检索 Agent 轨迹中的特定行为。该功能基于 SmithDB 将多源轨迹去重并转化为统一视图,利用快速决策模型在有限 token 预算下精准识别如 PII 泄露或用户挫败等复杂语义模式,解决了传统向量搜索难以捕捉细微逻辑差异的问题。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,并同步推出针对本地 AI Agent、创意开发和游戏场景的软件更新与性能优化。
推荐理由:原文详述了 RTX Spark 笔记本的本地 AI 生态准备情况,包括 Nemotron 模型、安全沙箱及主流应用优化,为评估其作为个人 AI 超级计算机的实际可用性提供了具体依据。
LangChain 发布 langchain-scaledown 集成,利用 ScaleDown 的受限解码模型(CDMs)来高效处理长运行智能体的上下文管理任务。
推荐理由:LangChain 集成 ScaleDown 受限解码模型,提供摘要、压缩和提取中间件,帮助开发者低成本管理长运行智能体的上下文。
人们过于严肃地对待 Artificial Analysis Index 及其各项评分。
我的 AI 智能体正在执行主动客户服务:有人发邮件给我说,在订阅我的 Substack 后,他们被自动注册了其他服务(这不应该发生)。无需我询问,我的 Dot 自行运行测试,并通过尝试复现错误找出了原因。
NVIDIA 宣布向 Doctolib、Entalpic、Genesis AI 和 Pigment 四家法国初创公司进行新的计划投资,覆盖医疗、材料发现、物理AI及商业规划领域。此前 NVIDIA 已在欧洲承诺投入近 $10 billion,并支持 Bull、Altair-1 等构建主权AI基础设施。
Muse Wonder Full (max) 在 Artificial Analysis Intelligence Index v4.3 的十项评估中,有六项进入前三名:➤ CritPt (33%) 和 GDP.pdf (33%) 排名第 1 ➤ GDPval-AA v2.1 (1857 Elo) 排名第 2 ➤ AA-Briefcase (1729 Elo)、AutomationBench-AA (71%) 和 SciCode (63%) 排名第 3
Artificial Analysis 发布了针对最新 AI 模型的基准测试结果。该报告由第三方独立机构提供,旨在通过标准化评测展示模型性能表现。
推荐理由:第三方评测机构发布了新模型的基准测试结果,提供了独立于厂商的性能数据参考。
在 FrontierCode 上,单任务成本跨越两个数量级,从 GPT-6 Luna (max) 的 $0.09 到 Claude Fable 5.1 (max with fallback) 的 $12.00。四个模型位于得分与单任务成本的帕累托前沿:GPT-6 Luna (max) 得分为 42%,每任务成本 $0.09;MiMo-V2.6-Pro 得分为 45%
我们推出了 FrontierCode 1.1 排行榜,这是 Cognition 的一项私有评估,测试模型完成编码任务的能力,其结果需能被真实仓库维护者实际合并。@cognition 于 2026 年 6 月宣布推出 FrontierCode 并进行了更新
AA-3D 工作原理:构建、检查、投票、排名 ➤ 每个模型作为离线沙盒中的智能体,将书面简报转化为网页 ➤ 无头浏览器和人工检查每个场景 ➤ 评审员比较来自同一简报的盲测配对 ➤ Bradley-Terry 拟合将投票转化为
我们已测量智能。现在该看看它了。我们推出 AA-3D,这是衡量 AI 模型构建交互式 3D 场景能力的新基准。每个模型作为代理在离线沙盒中运行,将书面简报转化为 three.js 网页。一个人类评审小组
DeepLearning.AI 转发消息指出某新模型已发布,该模型在多项基准测试中展现了显著的推理能力提升。具体版本号及详细评测数据未在短文中列出。
推荐理由:原文提及了特定模型版本的发布及其在推理能力上的表现,读者可据此了解最新模型迭代的关键特性。
a16z 的 Martin Casado 与 https://MakerMaker.AI CTO Owen He 探讨为何许多 RSI 提案都在兜售蒸汽机般古老的概念:Martin:“我看到很多提案,其中不少使用 RSI 这个词。我会问,‘所以你们具体做什么?’他们会说,
https://MakerMaker.AI CEO Dhaval Adjodah and CTO Owen He on building a self-improving AI company where humans and agents work as one system: "One big limit of [RSI] is the human element. I think the way that a lot of AI companies are thinking is, let us use AI to replace
.@flexport CEO Ryan Petersen 分享他向 AI 创始人传递的查理·芒格建议:“成功的关键在于愚蠢的竞争。”“查理在一次晚宴上告诉我的最喜欢的话之一,是我向他介绍 Flexport 时,他说:‘哦,你有一个
乐观主义获胜
Gavin Baker 将 AI 竞赛比作史上最高风险的“企业棋局”:“必须给 Meta 很多赞誉。他们曾出局,如今又重返牌桌。这简直令人惊叹。” “一年前当 Gemini 势头正盛时,谁能想到……
过去几个月,我们在降低针对 Claude 的蒸馏攻击有效性方面取得了重大进展。在这篇文章中,我们将解释具体方法:
如果你还没确保在所有账户上开启双重验证,没有与家人约定好以防接到索要钱财的语音电话等密码,现在正是时候。AI 能力的提升意味着对个体进行复杂的大规模定向攻击的成本正在下降。
我早期体验了 Muse Wonder,虽然没怎么深入使用,但从有限的测试来看,这似乎是个不错的模型。更令人印象深刻的是,自四月以来我在“淹没的新哥特式城市”twigl shader 测试中看到的进步。Meta 在短时间内取得了非常快的进展
你仍有很多理由使用自己的模型集成,但我不确定这是否出于成本考虑。
是的,有理由认为 OpenAI 和 Anthropic 将在如何优化 AI 的成本/智能方面做得最好,它们会使用不同能力水平的智能体组合,这些智能体经过专门训练以在各自的框架中协同工作。
vLLM 发布双向 KV Cache 传输功能,允许预填充节点复用解码节点保留的 KV 块,从而减少多轮对话中的重复计算并降低首 Token 时间(TTFT)。
推荐理由:vLLM 引入双向 KV 传输机制,通过复用解码节点缓存显著降低多轮智能体工作负载的 TTFT,为长上下文场景提供可落地的性能优化方案。
Amazon Bedrock 在泰国、马来西亚、新加坡、印尼和台湾推出全球跨区域推理,支持访问 OpenAI GPT-6 Sol、Luna 和 Astra。用户可从上述源区域调用这些模型,利用其他 AWS 区域的容量以缓解单区域限流。GPT-6 系列均支持文本图像输入及提示缓存,通过 Converse API 或 OpenAI 兼容接口接入。
GitHub Copilot 支持通过 `.github/copilot-instructions.md` 定义仓库级规范,利用 `.github/skills` 封装可重复流程,并在 `.github/agents` 创建专用智能体。
Modal 正式推出 Endpoint Candidates,允许用户为 Dedicated Endpoints 暂存替代部署以评估质量、延迟、吞吐量和成本。该功能支持镜像生产流量并独立运行基础设施,用户可通过仪表盘监控指标并在验证后一键提升至生产环境。Endpoint Candidates 现已在 Modal 所有工作区全面可用,采用标准计算定价。
https://MakerMaker.AI 联合创始人 Dhaval Adjodah 和 Owen He 与 a16z 的 Martin Casado 探讨递归自我改进,以及如何判断其是否真实:许多 RSI 提案其实只是人们利用 AI 构建更好的 AI。技术一直如此运作。你需要计算机
我怀疑其中绝大多数只是吹毛求疵,因此我不认为它们会推翻研究结果和论文。这些情况不属于正常的更正流程,这使得在学术出版的约束下很难理解如何妥善应对它们。
Microsoft Research 发布研究系统 StudentSim,利用公开去标识化数据训练个性化 AI 学生模拟器,以加速 AI 辅导工具迭代。该系统通过 StudentSimEval 基准在象棋、英语写作和数学领域验证行为保真度与指导响应性,表现优于主流基线。StudentSim 旨在研发阶段提供反馈信号,并非替代教师或部署于课堂。
AWS 发布 Ray LLM Deep Learning Containers,支持在 Amazon EKS 上跨两个 GPU 节点部署大语言模型。该容器集成 vLLM、NIXL 和 EFA,通过分离 Prefill 与 Decode 阶段实现解耦推理,并暴露 OpenAI 兼容 API。
该方案利用 AWS Deep Learning Containers (DLC) for llama.cpp,在 Amazon SageMaker AI 上通过 SemIf 适配器实现结构化决策推理。
NVIDIA 在 OCP 全球峰会上通过 MGX 开源架构贡献了 Vera Rubin 机架与计算托盘设计,旨在加速全球 AI 工厂规模化部署。MGX 1.2 规范支持最高 250kW 机架功率及盲插液冷技术,并新增面向智能体时代的 Vera CPU 机架设计。此外,NVIDIA 发布了 DSX AI Factory 的开源软件组件,涵盖网络配置、集群验证及裸机供应等功能。
只要 LLM 在各方面依然好得离谱,公司就能想办法勉强维持。但它们往往难以管理组织变革,而频繁的强制模型切换(Google 说的就是你)和其他变化对它们来说都很困难。
我采访了一些大型企业的恼火高管,他们直到上个月 GPTs 被停用前仍很依赖它。是的,GPTs 已经失去了实用价值。但大型组织规划复杂,且所有实验室(不仅仅是 OpenAI)不断做出突然的变更,让他们感到困惑。
GPT-6 Pro 经常在其他工作中顺带发现学术论文中的所谓错误。如今,确认这些错误并了解其重要性仍需大量时间,但速度会越来越快。我们目前缺乏应对海量更正的合适机制。
令人沮丧的是,本站的平均回复机器人已将其“回复垃圾”策略转向提出有趣的问题。这感觉像是真正的智力互动,这使得它比仅仅用“人们忽略的部分”来重述帖子更糟糕。
@Waymo 的 Dmitri Dolgov 就如何判断距离产品发布是一年还是十年发表看法:“我反复看到的一个模式是,你是否实现了发现层面的收敛?你今天遇到的问题,与六个月前遇到的问题有多大差异?”
John Collison 谈为何 @Stripe 将 2026 年 1 月 1 日称为“奇点第一天”,以及新公司创建数量创历史新高:“Unix 纪元始于 1970 年 1 月 1 日。我们决定将奇点纪元定为 2026 年 1 月 1 日……我们现在正处于奇点之中。” “这不是