跳到正文
9月21日周一
  1. LangChain Blog68

    LangChain 实测 Jev:作为新型 Agent 评估器的性能与成本分析

    LangChain 团队测试了 TypeSafe AI 发布的“System One”模型 Jev,验证其作为 Agent 评估器的潜力。实验显示,Jev 在二分类判断上与人类标注完全一致(100% 准确率),且方差比 GPT-5.6 Luna、Terra 和 Claude Sonnet 4.6 低数个数量级。

    推荐理由:LangChain 实测 Jev 在 Agent 评估中的表现,对比主流 LLM 展示了其在准确率、方差和成本上的显著优势。

9月19日周六
  1. Google Research27

    Google Research 发布 MilleMiglia:面向中间里程物流的 C++ 实例生成器

    Google Research 推出 MilleMiglia,这是一个用 C++ 编写的开源实例生成器,旨在为中间里程物流问题创建逼真的基准数据。该工具通过模拟复杂的同步约束和隐私保护数据,解决了因缺乏高质量公开数据而阻碍学术研究的问题。源代码及文档已在 GitHub 上开放获取。

9月18日周五
  1. Google Research60

    Google Research 发布基于生成式 UI 的教育互动模拟器研究

    Google Research 推出新研究实验,允许教师通过生成式用户界面(GenUI)创建定制化的交互式教育模拟。该方案结合游戏化设计与教学护栏,已发布包含物理、化学等 STEM 学科的 30 多个示例库,并启动面向 Google Workspace for Education 学校的试点计划。

    推荐理由:原文展示了利用生成式 UI 动态构建教育模拟器的技术路径与教师实测反馈,为理解 AI 如何降低互动内容制作门槛提供了具体案例。

9月17日周四
9月16日周三
  1. Google Research33

    Google Research 提出 Retrieve-for-Train 框架加速复杂 AI 搜索

    Google Research 在 ICML 2026 论文中提出 Retrieve-for-Train 框架,利用离线强化学习将查询分解行为编译为轻量级扩散检索器。该方法消除了推理时生成数百个思维链 token 的延迟瓶颈,实现单次高效查询扇出。通过奖励对齐的数据编译,系统能在保持结果多样性与覆盖度的同时,满足生产环境亚秒级响应需求。

9月11日周五
9月9日周三
  1. Sierra Blog63

    Sierra 开源 Hyper-𝜏-bench:评估构建智能体的智能体

    Sierra 开源长程智能体评测基准 Hyper-𝜏-bench(即 𝜏^𝜏-bench),用于衡量模型不仅作为智能体行动、更能构建智能体的能力。该基准要求开发者智能体在沙盒中从模拟业务记录恢复规格、设计架构并生成工具,最终交付符合成本预算的客服智能体。

    推荐理由:原文通过沙盒环境量化了模型构建智能体的能力瓶颈,揭示了从规格恢复到成本控制的五大失败模式。

9月1日周二
  1. Ai2 / Allen Institute for AI42

    Ai2 推出 BenchMIRT:审计 LLM 基准测试实际测量的能力

    Ai2 发布 BenchMIRT,利用多维项目反应理论(MIRT)在单个提示词层面审计 LLM 基准测试。该方法基于 100 个模型、16 个基准及超 3.4 万个问题的数据训练,独立识别出安全与通用推理两个主导维度。分析显示 BBQ 和 WMDP 等基准的得分更多反映通用推理能力而非预设的安全目标,揭示了单一分数可能混淆不同信号的问题。

8月29日周六
  1. Anthropic65

    Anthropic 发布 Claude 3.5 Sonnet 升级及新智能体能力

    Anthropic 宣布对 Claude 3.5 Sonnet 进行重大升级,并推出新的智能体(Agentic)功能。此次更新提升了模型在复杂推理和编码任务中的表现,同时增强了工具调用与自主执行能力。

    推荐理由:官方展示了新智能体能力的具体表现,为开发者提供了评估其实际工作流价值的直接依据。

8月27日周四
  1. Anthropic65

    Anthropic 公布斯坦福、牛津与 METR 对 Claude 对话数据的独立研究

    Anthropic 宣布斯坦福社会与语言技术实验室、牛津人类信息处理实验室及 METR 三个研究小组设计了独立研究,旨在分析 2026 年 4 月至 5 月期间来自 Claude.ai 或 Claude Code 的 250,000 次聚合对话输出。该研究聚焦于真实用户交互数据的多方验证。

    推荐理由:原文披露了三个独立研究团队对 Claude 对话数据的分析计划,为评估模型实际使用效果提供了具体样本来源。

8月21日周五
  1. Ai2 / Allen Institute for AI45

    Georgia Tech 团队利用 Olmo 3 开源栈追溯模型社会推理来源

    Georgia Tech 团队基于 Olmo 3、Dolma 3 等五个开源组件,通过影响函数分析训练数据对模型能力的影响。研究发现富含对话和人际情感的文本对社会推理贡献最大,删除文学类高影响力文档导致 SocialIQA 分数显著下降。该成果验证了利用全开源模型追踪能力来源并优化训练数据的可行性。

  2. vLLM 官方博客39

    SkyRL 推出 IsoExec:消除 RL 训练与推理引擎不匹配

    SkyRL 引入 IsoExec,通过统一执行契约和位级一致内核消除强化学习中训练与推理引擎的不匹配。在单节点 8×H100 上对 Qwen3.5-35B-A3B 进行 DAPO 训练时,平均 logprob 差异降至极低水平,相比基线仅增加 25% 开销。该方案支持 vLLM 和 Megatron,解决了浮点非结合性导致的调试难题。

8月19日周三
  1. Anthropic62

    Anthropic 公布 Claude 结合剂设计成功率为 22% 至 35%

    Anthropic 表示,虽然设计结合剂比设计药物更容易,但它是有效的代理指标。目前该领域的典型成功率在 10% 到 15% 之间,而根据设置不同,Claude 的设计有 22% 到 35% 能成功结合。其部分最强设计也实现了成功结合。

    推荐理由:Anthropic 官方披露 Claude 在结合剂设计任务中的具体成功率数据,为评估 AI 在生物制药早期研发阶段的实际效能提供了量化参考。

8月18日周二
8月13日周四
8月11日周二
  1. Anthropic65

    Anthropic 展示未发布模型在黎曼猜想相关研究中的进展

    Anthropic 表示其一个尚未发布的模型在黎曼猜想相关问题上取得了进展,该模型提升了满足黎曼假设的 zeta 函数零点的比例下限。这一结果展示了大语言模型在复杂数学推理任务中的潜在能力,但原文未提供具体的数值细节或技术方法。

    推荐理由:官方展示了未发布模型在数学猜想上的具体进展,为评估前沿模型的深层推理能力提供了实证案例。

8月7日周五
8月5日周三
  1. Anthropic65

    Anthropic 回应 AISI 对 Claude Mythos 5 的无防护环境测试报告

    Anthropic 官方账号发布声明,提及英国 AI 安全研究所(AISI)近期发表了一份关于 Anthropic 旗下 Claude Mythos 5 模型的评估报告。该报告描述了在移除模型常规安全防护措施的实验环境中,让模型尝试完成特定任务的测试结果。

    推荐理由:官方披露了针对自家模型在移除防护后的特定任务测试背景,为理解前沿模型的安全评估流程提供了直接信源。

7月31日周五
7月29日周三
  1. Berkeley AI Research62

    K-Search 框架实现从 CUDA 到 MLX 的内核优化知识迁移

    Berkeley AI Research 团队扩展 K-Search 框架并引入 MLX 后端,通过结构化 CUDA-to-MLX 翻译层自动迁移内核优化知识。该方法在 Apple Silicon 上使 Attention 内核达到原生 MLX 的 0.97x 速度,并在 Mamba SSM 内核 prefill 阶段相比社区实现获得最高 20x 加速。

    推荐理由:原文展示了通过结构化翻译层将 CUDA 优化知识迁移至 Apple Silicon 的方法,实现了接近专家级的内核性能。

  2. Anthropic70

    Anthropic 称其模型发现密码学弱点

    Anthropic 宣布其模型发现了用于验证数字签名的对称密钥加密算法中的弱点。该模型能够识别出传统上被认为安全的加密方案中的漏洞,展示了其在复杂数学和密码学分析方面的能力。

    推荐理由:Anthropic 官方披露了模型在密码学弱点发现上的能力,为评估 AI 在网络安全领域的潜在影响提供了第一手依据。

7月26日周日
7月2日周四
  1. Ai2 / Allen Institute for AI42

    FlexMoRE 基于 FlexOlmo 实现模块化大模型轻量化

    OdenseNLP 团队基于 Ai2 的 FlexOlmo 架构推出 FlexMoRE,通过引入低秩适配器将专家模块参数缩减至原模型的三分之一以下。该方案在保持推理与知识任务性能的同时显著降低内存需求,使丹麦基金会模型(DFM)等机构能在不共享敏感数据的前提下,于消费级硬件上运行模块化多语言模型。

7月1日周三
6月30日周二
  1. Together AI Blog45

    Together AI 在 ICML 2026 展示全栈前沿研究

    Together AI 在 ICML 2026 发布九篇论文,覆盖从智能体到 GPU 内核的全栈优化。ThunderAgent 实现最高 3.6× 智能体推理加速,TTT-Discover 用开源 gpt-oss-120b 模型以约 $500 成本超越人类最佳发现。Aurora 自适应推测解码与 Untied Ulysses 支持单节点 5M-token 上下文,共同提升平台效率。

6月29日周一
  1. Ai2 / Allen Institute for AI36

    DiScoFormer:一个 Transformer 同时估计密度与分数

    Ai2 推出 DiScoFormer,该模型通过单次前向传播即可从数据点中同时估计分布的密度和分数,无需重新训练。在 100 维场景下,其分数误差比最佳 KDE 降低约 6.5 倍,密度误差降低超过 37 倍。DiScoFormer 利用交叉注意力机制泛化核密度估计,并支持通过一致性损失适应分布外输入。

6月25日周四
6月23日周二
6月17日周三
5月19日周二
5月8日周五
  1. Berkeley AI Research35

    Berkeley AI Research 综述自适应并行推理:从固定结构到模型自主决策

    Berkeley AI Research 发布关于自适应并行推理(Adaptive Parallel Reasoning)的综述,指出其旨在解决顺序推理导致的上下文退化与高延迟问题。文章对比了 Self-consistency、ParaThinker 等现有方法,强调核心范式转变在于让模型自主决定何时分解任务及并发线程数,而非依赖外部预设的固定并行结构。

4月20日周一