RUITA / DAILY BRIEF ·
66 组配置研究提醒:智能体模型、运行外壳与任务应一起评估
论文比较多种模型与外壳在三个基准上的组合,发现排名会随搭配及任务变化。
KEY FACTS
核心信息
- 01
研究比较四种可配置外壳与五个模型,并加入两组原生产品配对,共 66 种配置。
- 02
评测使用 TUA-Bench、ALE-CLI 和 Terminal-Bench 4。
- 03
论文摘要称模型排名会因外壳改变,同一模型的最佳外壳也可能随任务改变。
研究怎样比较
作者把智能体系统拆成基础模型和执行任务的外壳,交叉搭配后在三个不同任务基准上观察分数、轨迹和成本,避免只评估单一厂商默认组合。
使用时要留意
论文数据来自特定版本的模型和基准,不能推出某一外壳在所有学校工作流中必胜。课题组可先选代表性任务,再同时记录正确率、人工修复量与运行成本。