Ai2 发布 Novelty Bench：LLM 评估科研想法新颖性的可靠性研究

Ai2 发布新研究及基准测试，揭示大语言模型作为“新颖性法官”评估科研想法时存在严重不稳定。实验显示，仅修改提示词中的几个单词即可导致 GPT-5.4 等模型的判断准确率波动超过 50 个百分点，且增加检索和推理预算并未提升效果。相比之下，简单的 Claude Opus 4.6 提示词基线在准确率和成本上均优于专门构建的新颖性评估系统。