RUITA / DAILY BRIEF ·
PaperBenchX:前沿智能体完整复现论文结果仍有明显缺口
项目方称最优配置在 93 项跨学科任务中完整复现 13 项,严格门槛下比例为 13.98%。
KEY FACTS
核心信息
- 01
PaperBenchX 包含 93 项论文结果复现任务,覆盖多个研究领域。
- 02
项目方比较十种前沿智能体配置。
- 03
最佳配置按严格大于 90% 的任务评分门槛完整复现 13 项,即 13.98%。
发生了什么
项目方将论文中的可验证主张转成任务,要求系统在相应科学软件环境中完成建模、执行和验证。团队报告即使前两步有进展,最终证据核验仍困难。
对高校读者有什么影响
课题组用 AI 复现论文时,应明确哪些图表、参数和结论必须重新得到,并保留运行日志。这个项目的比例仅适用于其任务与评分规则。