Ai2 发布 Old Ideas Novel Problems 研究评估 LLM 作为科研新颖性评判者的可靠性

Ai2 发布 Old Ideas, Novel Problems 研究及配套基准、数据和代码，旨在测试大语言模型评估科研想法新颖性的可靠性。研究发现，仅改变提示词中的几个单词即可使 GPT-5.4 在区分人类与 AI 生成想法时的准确率从 93.5% 降至 40.9%，且增加检索和推理预算并未一致提升判断质量。