Ai2发布基准揭示LLM评估科研新颖性不稳定
热点事件持续更新
Ai2发布基准揭示LLM评估科研新颖性不稳定
2 篇报道2 个报道来源2 小时前更新
先了解这件事
AI 综述
Ai2 发布 Old Ideas, Novel Problems 研究及配套基准，测试大语言模型评估科研想法新颖性的可靠性。结果显示，仅修改提示词中的少量单词即可导致 GPT-5.4 等模型的判断准确率波动超过 50 个百分点（如从 93.5% 降至 40.9%），且增加检索和推理预算并未一致提升效果。 Hugging Face Blog 指出，简单的 Claude Opus 4.6 提示词基线在准确率和成本上均优于专门构建的新颖性评估系统，揭示了当前 LLM 作为“新颖性法官”存在严重不稳定性。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 00:12
Ai2 发布 Novelty Bench：LLM 评估科研想法新颖性的可靠性研究报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Hugging Face Blog精选Ai2 发布 Novelty Bench：LLM 评估科研想法新颖性的可靠性研究
Ai2 发布新研究及基准测试，揭示大语言模型作为“新颖性法官”评估科研想法时存在严重不稳定。实验显示，仅修改提示词中的几个单词即可导致 GPT-5.4 等模型的判断准确率波动超过 50 个百分点，且增加检索和推理预算并未提升效果。相比之下，简单的 Claude Opus 4.6 提示词基线在准确率和成本上均优于专门构建的新颖性评估系统。
10月27日
- Ai2 / Allen Institute for AIAi2 发布 Old Ideas Novel Problems 研究评估 LLM 作为科研新颖性评判者的可靠性
Ai2 发布 Old Ideas, Novel Problems 研究及配套基准、数据和代码，旨在测试大语言模型评估科研想法新颖性的可靠性。研究发现，仅改变提示词中的几个单词即可使 GPT-5.4 在区分人类与 AI 生成想法时的准确率从 93.5% 降至 40.9%，且增加检索和推理预算并未一致提升判断质量。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。