跳转到正文

RUITA / DAILY BRIEF ·

今日三件大事本期重点

训练代码里的两类数值误差,DeepMind 研究者给出修复

Google DeepMind 研究者指出,softmax(把各答案的分数换成概率)和交叉熵(衡量预测与正确答案差距)在特定数值下可能算错训练信号:正确答案分数远高时,调整信号可能被算成零;蒸馏(让较小模型学习较大模型的输出)时,两模型分数几乎相同也可能留下多余信号。作者给出修正实现,并说明这些极端情况在常规大规模训练中并不常见。

核心信息

  1. 01

    softmax 把模型对各答案的分数换成概率;交叉熵衡量预测与正确答案相差多少,两者常用于训练模型。

  2. 02

    论文指出,正确答案分数远高于其他项时,训练调整信号可能被舍入成零;蒸馏时,教师与学生分数相同仍可能产生多余信号。

  3. 03

    在作者的模加法小型实验中,修正实现跨过了低精度计算的失效点并达到 100% 测试准确率;这是特定实验结果,不是所有模型训练的保证。

两类错误分别在什么情况下出现

softmax 会把模型给每个答案的分数换成概率。论文发现,当正确答案的分数远高于其他答案时,低精度计算可能把对应的梯度(训练时用来调整模型参数的信号)舍入为零。

第二类出现在知识蒸馏,也就是让较小的学生模型模仿教师模型时:当两者给出的分数已经相同,常用计算仍可能留下不应有的调整信号。

修复在什么测试中有效

作者改写了相关计算方式。在一个让模型学习整数相加后取余的实验中,修正版在作者设定的 bf16、fp32 和 fp64 精度下都达到 100% 测试准确率;标准写法则在其中一些设置出现停滞或损失尖峰。作者同时说明,触发问题的极端分数和近乎相同的教师、学生输出,在常见大型训练中并不常见。

对训练代码维护者有什么参考

如果低精度训练出现异常损失尖峰,或蒸馏中的学生模型逐渐偏离教师模型,这篇论文提供了一个可核对的数值实现线索。它不能单独证明某个项目遇到的问题就是这两类错误,仍需结合实际代码和训练条件排查。