训练网络时Loss为Nan

• Nan是啥？
  Nan , 也就是“not a number”，是用数学无法表示出来的数。

• Nan为什么会产生？

  • 第一类：无穷大的数据之间做运算，产生Nan。
    不同的数据类型有不同的数值范围,如果某个值超出了这个范围，就会返回inf（无穷大）.
    产生inf的情况：
    （1）2/0
    如果后续存在下面的运算，就会返回Nan：
    （1）0/0
    （2）inf/inf
  • 第二类：输入的自变量不满足函数定义域。
    一些函数对于定义域有要求，输入的自变量x如果不在要求的定义域内，函数的值就无法计算，自然就会返回Nan.
    比如log(x)要求x>0.

• 在图像分类情境下：

  • 输入的图片和标签有异常值或者缺失值
    • 用np.isnan()
    • 或者运用nan != nan的性质
  • 在做归一化时0做除数
    • 在分母处加一个eps（如=1e-3）
    • 或者直接除以255
  • 使用半精度(float16)训练，从float32到float16存在舍入误差，可能导致log（x）的x舍为0
    • 使用混合精度（amp）以及损失缩放（gradScaler）

参考：
https://zhuanlan.zhihu.com/p/456113139
https://zhuanlan.zhihu.com/p/622964137

数据预处理时的归一化和标准化

• 归一化目的是让模型更快更好的收敛 。由于链式法则的累积效应，过大/过小的梯度会导致爆炸或弥散。
  梯度是和输入值是有关的，因此要将输入值维护在一个不大不小的区间。有【0，1】和【-1，1】两种。

• 对于图像，除以255即可。

• 一般在ReLU函数前加上BatchNorm层，将一个batch的数据进行0均值、1方差的标准化，才能充分利用ReLU=max(x,0)特性。

参考：
https://blog.csdn.net/weixin_44138265/article/details/117677973
https://www.zhihu.com/question/307748349

out of memory

• 显存溢出的解决方法：
  • 减小batchsize，使用梯度累积
  • 减小网络
  • 使用半精度训练
  • 检查loss计算是否正确loss+=loss.item()
  • 检查验证部分是否被torch.no_grad()包裹