RUITA / DAILY BRIEF ·
Nanbeige4.3-33B 模型卡:33B 参数,定位为后续小模型蒸馏的教师模型
Nanbeige 团队发布 Nanbeige4.3-33B 模型卡,称它是用于训练更小模型的“教师模型”:较大的模型先提供示范,再让小模型学习。模型有 330 亿参数,使用 BF16(一种 16 位数值格式),许可为 Apache-2.0。模型卡中的编程成绩来自发布团队自己的测试,尚无独立复现结论。
KEY FACTS
核心信息
- 01
模型卡列出 330 亿参数和 BF16 数值格式;BF16 用 16 位表示数值,实际运行还要考虑模型外的显存开销。
- 02
团队把它称为教师模型,计划用它的输出训练更小的模型;这个过程常叫“蒸馏”。
- 03
模型卡列出多项编程测试成绩,但不同测试的名次不一致,且结果由模型团队报告。
“教师模型”是什么意思
教师模型是先提供示范的大模型,后续的小模型再通过这些示范学习。Nanbeige 团队把 33B 版本定位为教师模型,目标是把部分编程和协作能力转给更小的版本。
基准成绩该怎么读
模型卡列出 Terminal-Bench、DeepSWE 和 SWE-Bench Pro 等测试。它们考查不同任务,采用的推理设置也不完全相同;页面成绩是发布团队自己的评测,不代表每项任务都领先,也不是第三方独立复现。模型参数量和数值格式也会影响运行所需硬件,实际部署前应核对自己的设备条件。