RUITA / DAILY BRIEF ·
AI 论文的数字为什么对不上?常见问题是挪用了别次实验的结果
研究团队复核科研智能体基准上的 540 条判定,并在 18 份报告里标注 256 条数字主张。需要补充正确依据的数字中,约五分之四虽能在文件里找到,却对应另一场实验、另一个指标或不同运行记录。
KEY FACTS
核心信息
- 01
研究团队复核公开基准上的 540 条判定,涉及 9 个智能体、15 个研究任务,并在 18 份报告里标注 256 条数字主张。
- 02
需要补充正确依据的数字中,约五分之四能在智能体留下的文件中找到,但对应的是另一场实验、另一个指标或不同运行记录。
- 03
作者抽查核查器标出的 85 条数字,其中 78 条确实能追溯到对应依据。
AI 报告里的数字,常常真有出处却贴错了位置
研究团队检查科研智能体的公开报告,在 256 条数字主张中发现,缺少正确支持的数字约八成能在智能体文件里找到,只是来自另一场实验、另一个指标或不同运行记录。问题常出在数字被手工复制后,实验名称和结果没有一起带进论文。

让结果表直接连着实验文件
作者提出用规则检查“主张—证据”关系,并按实验名、指标名和运行编号核对数字;已确认结果的准确度超过 90%。课题组可以把实验表与原始结果文件连起来,再用脚本生成论文表格。这样组会或审稿时,读者不仅看到一个数字,也能追到它来自哪次运行。
组会可以要求论文表格自动保留实验名、指标和运行编号;图表一旦更新,结果数字也从对应文件重新生成。这样团队讨论差异时能直接回到实验记录,不必靠作者回忆数字从哪来。