RUITA / DAILY BRIEF ·
OSWorld-Science 用科研软件任务评估智能体交付能力
论文提出覆盖 146 项任务的科研软件操作基准,以应用状态和交付文件评价智能体,而不只看它的文字回答。
KEY FACTS
核心信息
- 01
论文基准包含 146 项科研软件任务,覆盖多个科学领域和软件配置。
- 02
评价器检查应用状态和生成文件,可以对不完整结果给部分分数。
- 03
作者提供了论文、任务数据与代码入口。
研究做了什么
研究团队构建了 OSWorld-Science,让计算机使用智能体在科研软件中完成有明确交付物的任务。任务涉及化学、病理、统计和物理仿真等场景,评分依据包括文件与应用状态。
对高校读者的意义
如果课题组要采购或训练科研助手,可以借鉴这种验收方法:先写清应保存、导出或计算出的产物,再检查过程中的失败与异常自检。论文数字仍应连同模型、软件环境和评测设置一起解读。