跳转到正文

RUITA / DAILY BRIEF ·

今日三件大事本期重点

PaperBenchX:前沿智能体完整复现论文结果仍有明显缺口

项目方称最优配置在 93 项跨学科任务中完整复现 13 项,严格门槛下比例为 13.98%。

核心信息

  1. 01

    PaperBenchX 包含 93 项论文结果复现任务,覆盖多个研究领域。

  2. 02

    项目方比较十种前沿智能体配置。

  3. 03

    最佳配置按严格大于 90% 的任务评分门槛完整复现 13 项,即 13.98%。

发生了什么

项目方将论文中的可验证主张转成任务,要求系统在相应科学软件环境中完成建模、执行和验证。团队报告即使前两步有进展,最终证据核验仍困难。

对高校读者有什么影响

课题组用 AI 复现论文时,应明确哪些图表、参数和结论必须重新得到,并保留运行日志。这个项目的比例仅适用于其任务与评分规则。