RUITA / DAILY BRIEF ·
EdgeRock-4B将注意力KV容量固定为72MiB,团队公布自测结果
Rock Matrix的EdgeRock-4B模型卡称,每条序列的注意力KV容量固定为72MiB;在256K上下文下,比Qwen3.5-4B的对应KV占用低99.1%。团队还公布AIME和吞吐测试结果,但数字来自其自有评测条件。
核心信息
- 01
模型卡称EdgeRock-4B处理文本和图像,采用循环状态、近期窗口和Rock Memory Anchors保留远处信息。
- 02
每条序列的注意力KV为72MiB;批处理运行时的总持久历史状态约97.76MiB,模型权重与运行缓冲另计。
- 03
团队报告AIME 2024–2026平均pass@1为82.9%;单张80GB Hopper、32K输入和32K输出设置下,输出吞吐是Qwen3.5-4B相应测试的6.42倍。
72MiB指的是哪一部分内存
长文本模型通常要保存已读上下文的注意力缓存。EdgeRock模型卡称,它把每条序列的注意力KV容量固定在72MiB;在256K上下文下,团队将其与Qwen3.5-4B的8GiB对应缓存作比较。
这不是模型运行所需的全部显存。模型卡另列约97.76MiB的批处理持久历史状态,模型权重、计算缓冲和工作区还要额外占用。
成绩来自团队公布的测试
团队报告EdgeRock-4B在AIME 2024–2026上的平均pass@1为82.9%,并称在单张80GB Hopper、32K输入加32K输出的设置中,输出吞吐达到Qwen3.5-4B的6.42倍。吞吐比较按两款模型各自的最佳批量测量。
这些数字来自发布方模型卡的自测,不等于外部独立复现。换成其他硬件、量化权重或任务后,速度和质量可能不同。
代码与模型许可要分开看
GitHub推理代码仓库列有Apache-2.0许可证;Hugging Face模型卡的权重许可证则标为EdgeRock Model License 1.0。模型代码可读,不代表权重自动采用相同许可;商用前应查看模型许可原文。