OpenAI支持前沿模型独立评估
作为我们控制前沿发展节奏工作的一部分,我们致力于支持在训练、评估和部署方面拥有深度访问权限的独立评估。这种访问权限应使第三方评估人员能够挑战我们的假设,识别我们可能存在的
作为我们控制前沿发展节奏工作的一部分,我们致力于支持在训练、评估和部署方面拥有深度访问权限的独立评估。这种访问权限应使第三方评估人员能够挑战我们的假设,识别我们可能存在的
AI 实验室之外的人应该对这项技术的发展拥有真正的发言权,并有明确的方式来判断其是否在安全地发展。标准应有助于防止权力集中,包括确保新公司和开源模型公司能够竞争。
我们正与一个独立的数学家顾问组合作,以帮助 OpenAI 负责任地分享 AI 和数学领域的进展。该小组将就如何评估和传播新的数学成果、维护学术和专业标准以及构建工具提供建议
OpenAI 发布 Astra for Law,将 GPT-6 Astra 与法律分析及写作指令、深度工作设置相结合。该功能引入了新的 Legal Search Index,可搜索美国判例法、法规、法院规则及行政决定,覆盖超过 2.3 亿个 URL。
面向法律行业的 Astra:专为您的业务打造的前沿智能。由 GPT-6 Astra 驱动的新产品,配备工具、设置和上下文,以支持律师和法律科技公司的专业知识与判断力。
Northeastern 学生利用 Steering Arena 众包游戏测试 Olmo 3-32B,发现高分文本多为无意义 token 串而非自然语言。该评测基于 135 对对比文本识别亲社会内部模式,显示开放权重模型可暴露传统评估未预见的优化漏洞。
我原本对本周的发布感到兴奋,但它将推迟到下周,不过我认为值得等待!
本周有大事,随后是 DevDay
AI 进展有两种可能走向非常糟糕的情况,我们必须避免。首先,我们可能会将未来的控制权交给 AI。这是不可接受的;我们毫不掩饰地站在人类这一边,AI 必须始终服务于人。为了确保这一点,我们需要确保对齐和
世界需要确信,开发日益强大 AI 的美国公司将负责任地行事,尤其是在进步轨迹加速的背景下。每个前沿实验室都必须履行这一承诺,如果我们做不到,就没有理由来上班。我们
我同意 Dario 的观点,我们需要控制前沿模型的节奏。这是过去几周我们在 OpenAI 内部讨论的主要话题。承诺让拥有员工级访问权限的独立评估者参与进来是一个好主意,我们也将这样做。很快会有更多分享。
欢迎,Paul。感谢你做这件事,以及你为 AI 安全所做的一切。期待再次合作。
这很糟糕,但在我们重新掌控局面之前,我们将优先为客户提供优质服务。
我想要一个!
Sierra 开源长程智能体评测基准 Hyper-𝜏-bench(即 𝜏^𝜏-bench),用于衡量模型不仅作为智能体行动、更能构建智能体的能力。该基准要求开发者智能体在沙盒中从模拟业务记录恢复规格、设计架构并生成工具,最终交付符合成本预算的客服智能体。
推荐理由:原文通过沙盒环境量化了模型构建智能体的能力瓶颈,揭示了从规格恢复到成本控制的五大失败模式。
Images 2.5 来了。我认为它无法解决超难的数学问题,但它确实很棒,希望大家喜欢。
我们希望与使用 GPT-6 的用户共同庆祝。我们在 GPT-5.5 时也做过类似活动,非常有趣。9 月 16 日我们将在旧金山聚会,讨论该模型、下一步应构建什么,以及主要是一起放松。请于 9 月 10 日前申请:
我周末大部分时间都在和做这项工作的团队交流。Seb——以及所有人——在整个过程中都表现出了正直和慷慨。起初,我们相信另一个团队也解决了这个问题。我们想要合作并进行联合发布。当我们得知
世界现在拥有极其强大的模型;我没想到如此规模的结果会来得这么快。我们一直在讨论需要控制进展以确保安全;对我来说,这是紧迫性迄今最有力的证据。
OpenAI 历史上最令我惊叹的时刻之一,就是看着这件事在过去一周发生:
Jakub 的一条重要推文:
这显然与其他一切相比微不足道,但 Astra 能让我制作任何我能想象的有趣小游戏,并且几分钟后就能玩到,这太酷了
Together AI 在 DeepSWE 基准上对 GLM-5.3 (max) 和 GPT-5.6 Sol (max) 进行了 904 次 rollout 测试。
推荐理由:通过904次实测对比GLM-5.3与GPT-5.6 Sol在DeepSWE上的成本、通过率及失败模式,揭示了级联路由策略能以更低成本超越单一旗舰模型的性能。
Microsoft Research 推出深度学习 DFT 模型 Skala 1.1,其训练数据量增加 2.5 倍,在 GMTKN55 基准的 55 个类别中有 32 个排名第一。该模型以 meta-GGA 计算成本实现超越全局杂化泛函的精度,加权平均误差为 2.8 kcal/mol。Skala 现已支持 CP2K,并正集成至 Psi4、FHI-aims、ORCA 和 VASP 等主流软件。
Ai2 团队在 EMNLP 接收的论文中,利用完全开放的 Olmo 3 模型及其公开训练语料,诊断出模型在回答药物问题时依赖名称词缀而非具体知识的“形态学捷径”。
Ai2 发布 TutorMoments 框架,利用 462 份真实数学辅导记录测试 LLM 能否平衡“提供支架”与“推动深度思考”。初步结果显示,模型在仅被告知“好好辅导”时倾向于过度帮助,明确提示权衡策略虽能提升表现,但仍难达到人类导师的精准判断水平。
Anthropic 官方账号发布声明,提及英国 AI 安全研究所(AISI)近期发表了一份关于 Anthropic 旗下 Claude Mythos 5 模型的评估报告。该报告描述了在移除模型常规安全防护措施的实验环境中,让模型尝试完成特定任务的测试结果。
推荐理由:官方披露了针对自家模型在移除防护后的特定任务测试背景,为理解前沿模型的安全评估流程提供了直接信源。
从我的时间线来看,人们对 AI 能力的理解存在日益扩大的差距。我认为第一个问题在于使用的时效性和层级。我觉得很多人去年尝试过 ChatGPT 的免费层,并让它过多地影响了他们对 AI 的看法。这是