智能模型终结ARC-AGI等基准
框架 + 智能模型 = 最后几个著名硬基准的终结。模型现在可以工作极长时间（再见，METR Long Tasks），可以输出数学正确的专业文档（再见，GDPval），并且可以解决复杂的新颖谜题（再见，ARC-AGI-3）。
#评测/基准
Ethan MollickAI 评分4040
Ethan MollickAI 评分1212 勿过度依赖Artificial Analysis指数
人们过于严肃地对待 Artificial Analysis Index 及其各项评分。
Ethan MollickAI 评分2626 AI 能力超越基准测试饱和
少数尝试衡量类似指标的基准（METR Long Tasks、GDPval）都在今年早些时候达到饱和，因为 AI 开始以高质量水平完成数天的工作。
Zhuokai ZhaoAI 评分2626 Reflection AI 模型开源基准NR争议
这看起来很棒！迫不及待想等 @reflection_ai 发布 checkpoint！但我脑海中闪过的第二件事是，批准这张图表的人，你们怎么能接受在 SWE-bench Verified 这类基准测试中，将开源模型标记为 NR？
Ethan Mollick · One Useful ThingAI 评分6262 Ethan Mollick：为何企业应像招聘员工一样面试 AI 模型
Ethan Mollick 认为现有 AI 基准测试存在缺陷且难以衡量特定场景能力，建议企业通过模拟真实工作任务的“面试”来评估模型。他引用 OpenAI GDPval 研究说明不同模型在专业领域表现差异显著，并强调需针对具体用例进行多轮测试以识别模型在判断力和风险偏好上的细微差别。