跳转到正文

RUITA / DAILY BRIEF ·

科研与论文

清华 TokenRouter 研究 token 级大模型路由的服务调度

清华 NICS 团队提出 TokenRouter,论文报告在其评测设置下,解码吞吐相对现有实现提升约 2.01 至 64.15 倍。

核心信息

  1. 01

    TokenRouter 面向难易 token 在不同规模模型之间路由的服务系统。

  2. 02

    论文提出请求中心编程、模型中心执行及延迟批处理调度。

  3. 03

    论文报告相对基线的解码吞吐改善范围为约 2.01 至 64.15 倍。

系统解决什么问题

token 级路由会让一条请求在大小模型间频繁切换,常见服务框架容易出现步骤不同步和批处理效率下降。TokenRouter 从服务调度层组织请求与模型执行。

如何看待结果

对高校 RAG、Agent 和模型服务课题组,它可作为系统层优化案例。吞吐提升范围来自作者设定的工作负载和基线,不应把峰值直接当作本校系统的预期收益。