跳转到正文

RUITA / DAILY BRIEF ·

科研与论文

66 组配置研究提醒:智能体模型、运行外壳与任务应一起评估

论文比较多种模型与外壳在三个基准上的组合,发现排名会随搭配及任务变化。

核心信息

  1. 01

    研究比较四种可配置外壳与五个模型,并加入两组原生产品配对,共 66 种配置。

  2. 02

    评测使用 TUA-Bench、ALE-CLI 和 Terminal-Bench 4。

  3. 03

    论文摘要称模型排名会因外壳改变,同一模型的最佳外壳也可能随任务改变。

研究怎样比较

作者把智能体系统拆成基础模型和执行任务的外壳,交叉搭配后在三个不同任务基准上观察分数、轨迹和成本,避免只评估单一厂商默认组合。

使用时要留意

论文数据来自特定版本的模型和基准,不能推出某一外壳在所有学校工作流中必胜。课题组可先选代表性任务,再同时记录正确率、人工修复量与运行成本。