跳转到正文

RUITA / DAILY BRIEF ·

科研与论文

OSWorld-Science 用科研软件任务评估智能体交付能力

论文提出覆盖 146 项任务的科研软件操作基准,以应用状态和交付文件评价智能体,而不只看它的文字回答。

核心信息

  1. 01

    论文基准包含 146 项科研软件任务,覆盖多个科学领域和软件配置。

  2. 02

    评价器检查应用状态和生成文件,可以对不完整结果给部分分数。

  3. 03

    作者提供了论文、任务数据与代码入口。

研究做了什么

研究团队构建了 OSWorld-Science,让计算机使用智能体在科研软件中完成有明确交付物的任务。任务涉及化学、病理、统计和物理仿真等场景,评分依据包括文件与应用状态。

对高校读者的意义

如果课题组要采购或训练科研助手,可以借鉴这种验收方法:先写清应保存、导出或计算出的产物,再检查过程中的失败与异常自检。论文数字仍应连同模型、软件环境和评测设置一起解读。