Ai2发布StateBench评估长上下文状态追踪

Ai2 发布 StateBench，用于评估语言模型在长文档中追踪实体状态变化的能力。该基准包含四个难度层级，涵盖从不可变赋值到引用赋值的复杂操作。 实验显示，Gated DeltaNet 等混合架构在直接训练下泛化性优于 Transformer，但 Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol 等前沿模型在处理高难度状态追踪时仍随输入增长而失效。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。