Artificial Analysis评测显示12个模型在美英英语间存在显著性能差异

Artificial Analysis公布了一项针对49个大语言模型的评测结果，发现其中12个模型在美式英语和英式英语任务中的表现存在统计显著差异（置信区间不重叠）。具体而言，7个模型在美式英语中表现更优，5个模型则更偏向英式英语。 尽管部分模型表现出明显的地域语言偏好，但所有受测模型的平均性能差异仅为7 Elo点。这一数据表明，虽然特定模型对语言变体敏感，但从整体平均水平来看，美英英语之间的性能落差相对较小。

AI 根据报道生成 · 20 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。