跳转到正文

RUITA / DAILY BRIEF ·

科研与论文

多智能体传话有时加分、有时减分:同一实验的两个任务结果相反

arXiv 预印本中,同一套 AI 传话方式让 ContextBench 得分从63.3%升到77.5%,却让 ToolSandbox 从88.9%降到65.3%。结论不是多加一个 AI 就更强,而是要按任务测试。

核心信息

  1. 01

    论文于2026年9月29日提交至 arXiv,是预印本;当前页面标注为 v1。

  2. 02

    研究用 Qwen3-Next-80B-A3B 作为发送方、Qwen3.5-9B 作为执行方,默认消息预算为128个 token。

  3. 03

    ContextBench 的联合正确率为63.3%对77.5%;ToolSandbox 为88.9%对65.3%。

  4. 04

    ContextBench 的对照支持480步,ToolSandbox为72步;两项基准不能代表所有真实工作流。

研究在测什么

多智能体是把任务分给几个 AI:一个掌握更多上下文,另一个负责下一步操作。论文让前者发送最多128个 token 的短消息,再观察接收模型能否产出正确结果和动作。

同一段传话,为何一升一降

在 ContextBench 任务中,短消息帮助执行模型找到需要的上下文,正确率从63.3%升至77.5%;在 ToolSandbox 中,同样的协议使结果从88.9%降到65.3%。论文还指出,消息有没有被正确理解、执行方能否采取对的动作,都会影响最终结果。

给做智能体系统的人什么提醒

这组数字来自特定模型、消息格式和基准任务,不是现实项目的成功率。搭建科研或办公智能体时,应分别测任务完成率、误操作和 token 成本;不要只因多了一个角色,就认定系统更可靠。