跳转到正文

RUITA / DAILY BRIEF ·

科研与论文

AI 把 20 项科学模型成绩刷高,离独立科研还差什么?

做 AI 科研的团队可以借鉴 Agent4Sci 的实验管理方法:论文中,智能体在 20 个科学机器学习基准上改善了已发表基线;作者发现多数提升来自调参等工程做法,研究洞见仍少。

核心信息

  1. 01

    arXiv:2610.28763v1 页面标注 2026 年 10 月 20 日;论文题为《Automating ML for Science》。

  2. 02

    作者构建 11 个领域、20 个基准、25 个任务;Claude Opus 4.6 平均相对改进 10.4%。

  3. 03

    研究构思、实验管理、定时检查清单三个插件加入后,作者报告 Claude Opus 为 20.1%、Codex 为 8.1%。

  4. 04

    附录明确指出没有同任务人类研究者对照,且插件可能对这组任务过拟合。

‘刷高’是什么意思

研究团队先重现已发表模型,再让编码智能体在固定时间和算力内改代码、训练、比较验证结果。它测的是从现有基线出发的改进能力,而不是从零发现科学问题的全过程。

进步主要来自哪里

论文摘要和结果分析指出,常见改进是调参、模型集成等机器学习工程动作。尽管每个基准都有改善,作者仍观察到新颖性判断不准、资源利用不足、过早进入局部扫参。分数提高可以有价值,但不能自动等同于领域洞见。

插件做了什么

研究者加入研究构思、实验管理和定时清单三类辅助流程后,两个智能体的平均增益上升。对课题组的启示是把假设、实验记录和复盘要求写进流程;论文同时警告,这些插件是在观察同一套任务失败后设计的,跨任务效果待验证。

还不能比较什么

附录没有同样预算下的人类研究者基线,也承认长程运行会有波动。文中引用 NeurIPS 2025 的部分基准,不支持把本论文称为已发表的‘NeurIPS 2026 论文’。