跳到正文
热点事件持续更新

Artificial Analysis发布AA-Omniscience v1.1基准更新

2 篇报道1 个报道来源22 小时前更新

先了解这件事

AI 综述

Artificial Analysis 发布了 AA-Omniscience v1.1,对其专有的知识和推理基准进行了更新。主要改动包括刷新公开测试集、移除已饱和的问题以及修正歧义项。 根据官方公布的数据,v1.1 基本保留了 v1 的模型排名顺序(Spearman 秩相关系数为 0.98),但在更新后的测试集上,模型的平均净分数(Net Score)降低了约 2 分,中位数下降了 0.6 分。

AI 根据报道生成 · 21 小时前更新

最新进展10月31日 08:01
AA-Omniscience v1.1基准更新

事件进展

2 个进展

  1. 10月31日 08:01 · 1 篇报道
    发布AA-Omniscience v1.1基准更新
    Artificial Analysis:AA-Omniscience v1.1基准更新
  2. 10月31日 08:01 · 1 篇报道
    AA-Omniscience v1.1 模型评分更新
    Artificial Analysis:AA-Omniscience v1.1 排名稳定但得分略降

报道时间线

沿着报道,了解事件的不同侧面。

10月31日
  1. Artificial Analysis
    AA-Omniscience v1.1基准更新

    我们发布了 AA-Omniscience v1.1,更新了我们的知识和推理基准,包括刷新公开测试集、移除饱和问题以及修正歧义。AA-Omniscience 是我们专有的基准,用于衡量模型知识和幻觉,包括模型是否

  2. Artificial Analysis
    AA-Omniscience v1.1 排名稳定但得分略降

    AA-Omniscience v1.1 基本保留了 v1 的排名顺序,但在更新后的测试集上,模型的平均净分数(Net Score)降低了约 2 分。AA-Omniscience v1.1 与 v1 的 Spearman 秩相关系数为 0.98,净分数的中位数下降了 0.6 分。部分模型的

本事件热度走势

可比范围当前
6
可比范围峰值
1010月31日 09:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。