Ai2 发布 FairStress 基准以深入评估 LLM 决策中的公平性

Ai2 推出 FairStress 基准，旨在超越最终选择，测量大语言模型在高风险决策中的人口统计公平性。该基准包含 300 个场景和超过 1300 万个测试用例，通过对抗性前缀挑战模型的决策稳定性。研究发现，尽管模型在输出层面可能表现一致，但在面对不同人口统计身份时，其改变正确决策的倾向存在显著不对称，且内部激活模式也显示出差异。