跳到正文
热点事件历史事件

Artificial Analysis 推出 AA-3D 基准

2 篇报道1 个报道来源6 天前更新

先了解这件事

AI 综述

Artificial Analysis 发布 AA-3D,这是一个衡量 AI 模型构建交互式 3D 场景能力的新基准。在该评测中,AI 模型作为代理在离线沙盒中运行,将书面简报转化为 three.js 网页。 AA-3D 的评测流程包括构建、检查、投票和排名四个步骤。无头浏览器和人工评审员会对每个生成的场景进行检查,随后评审小组对来自同一简报的盲测配对进行比较,最终通过 Bradley-Terry 拟合算法将投票结果转化为排名。

AI 根据报道生成 · 6 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月13日
  1. Artificial Analysis
    AA-3D 评测机制:构建检查投票排名

    AA-3D 工作原理:构建、检查、投票、排名 ➤ 每个模型作为离线沙盒中的智能体,将书面简报转化为网页 ➤ 无头浏览器和人工检查每个场景 ➤ 评审员比较来自同一简报的盲测配对 ➤ Bradley-Terry 拟合将投票转化为

  2. Artificial Analysis
    Artificial Analysis 发布 AA-3D 基准

    我们已测量智能。现在该看看它了。我们推出 AA-3D,这是衡量 AI 模型构建交互式 3D 场景能力的新基准。每个模型作为代理在离线沙盒中运行,将书面简报转化为 three.js 网页。一个人类评审小组