RUITA / DAILY BRIEF ·
REMORY 为上下文压缩加软记忆:论文报告特定任务错误减少
arXiv 预印本提出 REMORY,在文本摘要外加入可训练的软记忆向量。作者在 Terminal-Bench 2.1 和 BrowseComp 报告了工具错误数下降及成绩变化;这些结果来自特定测试设置,不能直接外推到一般智能体任务。
核心信息
- 01
REMORY 在文本摘要之后加入可训练软记忆向量;论文描述的记忆网络用于 Qwen3.8-27B,包含 19.4 亿可训练参数,主模型保持冻结。
- 02
Terminal-Bench 2.1 上,作者报告分数从 71.9 升至 76.4,工具错误数从 933 降至 568。
- 03
BrowseComp 的错误计数从 25,244 降至 12,698;论文按模型 token 价格估算的每任务生成费用从 4.29 美元降至 2.86 美元。
- 04
论文明确指出费用估算不包含记忆网络本身和工具执行成本。
摘要之外增加一层可训练记忆
长任务会不断积累上下文,直接删减旧消息可能让智能体忘掉关键步骤。REMORY 在文本摘要之外增加一组可训练的软记忆向量,让模型后续调用时还能接触压缩后的过程信息。
论文中的主模型保持冻结;为 Qwen3.8-27B 配置的记忆网络有 19.4 亿可训练参数。它因此不是零成本的摘要技巧,而是一套需要训练和维护的额外模块。
论文结果来自具体基准和成本口径
作者在 Terminal-Bench 2.1 报告分数从 71.9 提升到 76.4,工具错误从 933 次降到 568 次;在 BrowseComp 上,错误计数从 25,244 降到 12,698。
论文按模型 token 价格估算,Terminal-Bench 任务的生成费用从每任务 4.29 美元降到 2.86 美元。但这个数字没有计入记忆网络和工具执行成本,且测试只覆盖论文所用模型、任务与设置。要判断是否省钱,还需在自己的任务上把训练、推理和调用成本一起核算。