RUITA / DAILY BRIEF ·
Accordion让同一模型支持五档推理预算,论文报告基准均值提升3.01个百分点
清华大学与百度研究者提出Accordion,用同一套模型权重支持五种预设推理预算:预算提高时重复执行一段固定层。作者报告,经过3.6万亿token预训练的模型在37项任务上的五类宏平均分随推理深度增加3.01个百分点。
KEY FACTS
核心信息
- 01
论文于2026年10月23日提交至arXiv,作者单位包括清华大学和百度。
- 02
Accordion用固定前缀层循环支持五档预设推理预算;最低档保持未循环路径。
- 03
作者报告,3.6T token预训练后,37项任务的五类宏平均随深度提升3.01个百分点;中间预算捕捉到约89%的提升,使用约一半额外层执行量。
同一套权重怎样提供不同预算
模型把一段连续的中间层按预先设定的路径重复执行。用户或系统选择较低预算时,模型走较短路径;需要更多计算时,重复执行的层数增加。
这和另建五个完全独立模型不同,但不意味着更深的推理不花成本。更高预算会增加层执行次数,实际运行代价仍取决于任务、硬件和采用的预算档位。
论文中的提升来自哪些条件
作者报告,Accordion-6B-A0.5B在37项任务、五类宏平均上随深度提升3.01个百分点;中间预算取得了大约89%的提升,额外层执行量约为最大档的一半。
这组结果来自论文的预训练模型和评测任务。论文还指出,数学推理和代码生成等任务会随预算增加而改善,但不同任务适合的预算并不完全相同。
对部署意味着什么
如果未来模型和推理服务采用这类设计,团队可以尝试按任务难度或响应时延选择预算,而不必维护多个完全分开的模型版本。是否节省总成本,仍要把额外计算、服务吞吐和质量放在一起测。