跳转到正文

RUITA / DAILY BRIEF ·

今日三件大事本期重点

AI 审稿盲评得分更高:这能证明它适合替人审稿吗?

研究中,AI 写的评语在盲评里更常被选中;但它比较的是评语质量,不是论文按建议修改后是否变好,更不能据此说期刊已可以交给 AI 决定录用。

核心信息

  1. 01

    作者在2026年10月22日发布工作论文,数据包含124篇稿件和134份人类审稿意见。

  2. 02

    AI 审稿由 Claude Opus 4.8 生成;AI 评判者是 GPT-5.5,属于不同模型家族。

  3. 03

    GPT 评判中,132个可判定的配对结果全部偏向 AI 评语;3名前期刊编辑对10篇稿件作出的30次判断中,26次偏向 AI。

  4. 04

    论文报告 AI 评语中5.5%的稿件主张被判错误,人类评语为15.9%;这不是论文质量提升率。

研究拿什么来比

团队比较了124篇稿件及134份来自 rapidPeer 服务的人类评语。AI 在两种设定下为同一稿件写评语:一种按原审稿指南工作,另一种使用专门提示词并允许联网检索。人类评语来自领域专家,作者对其质量评价较高。

“赢了”具体是什么意思

评判者比较的是两份评语是否有帮助、是否抓住稿件问题等。GPT 评判中,132个可判定配对都偏向 AI;3名前期刊编辑盲评10篇稿件,30次判断中26次偏向 AI。稿件数量、评判方式和对照条件都应与这些数字一起看。

它还没有替期刊回答什么

研究没有观察作者按评语修改后,论文是否真的更好,也没有证明 AI 可以决定录用或拒稿。作者把投稿前模拟审稿列为一种可能的政策选择;研究同时提醒保密、偏见和学术观点趋同等风险。使用他人或未公开稿件前,应先核对期刊与学校规则。