RUITA / DAILY BRIEF ·
AI 审稿盲评得分更高:这能证明它适合替人审稿吗?
研究中,AI 写的评语在盲评里更常被选中;但它比较的是评语质量,不是论文按建议修改后是否变好,更不能据此说期刊已可以交给 AI 决定录用。
KEY FACTS
核心信息
- 01
作者在2026年10月22日发布工作论文,数据包含124篇稿件和134份人类审稿意见。
- 02
AI 审稿由 Claude Opus 4.8 生成;AI 评判者是 GPT-5.5,属于不同模型家族。
- 03
GPT 评判中,132个可判定的配对结果全部偏向 AI 评语;3名前期刊编辑对10篇稿件作出的30次判断中,26次偏向 AI。
- 04
论文报告 AI 评语中5.5%的稿件主张被判错误,人类评语为15.9%;这不是论文质量提升率。
研究拿什么来比
团队比较了124篇稿件及134份来自 rapidPeer 服务的人类评语。AI 在两种设定下为同一稿件写评语:一种按原审稿指南工作,另一种使用专门提示词并允许联网检索。人类评语来自领域专家,作者对其质量评价较高。
“赢了”具体是什么意思
评判者比较的是两份评语是否有帮助、是否抓住稿件问题等。GPT 评判中,132个可判定配对都偏向 AI;3名前期刊编辑盲评10篇稿件,30次判断中26次偏向 AI。稿件数量、评判方式和对照条件都应与这些数字一起看。
它还没有替期刊回答什么
研究没有观察作者按评语修改后,论文是否真的更好,也没有证明 AI 可以决定录用或拒稿。作者把投稿前模拟审稿列为一种可能的政策选择;研究同时提醒保密、偏见和学术观点趋同等风险。使用他人或未公开稿件前,应先核对期刊与学校规则。