网页网站公司如何做备份,网站章子怎么做,陕西省建设八大员官方网站,洛阳做网站公司汉狮价格1 理论部分
1.1 FP16 VS FP32
FP32具有八个指数位和23个小数位#xff0c;而FP16具有五个指数位和十个小数位Tensor内核支持混合精度数学#xff0c;即输入为半精度#xff08;FP16#xff09;#xff0c;输出为全精度#xff08;FP32#xff09; 1.1.1 使用FP16的优缺…1 理论部分
1.1 FP16 VS FP32
FP32具有八个指数位和23个小数位而FP16具有五个指数位和十个小数位Tensor内核支持混合精度数学即输入为半精度FP16输出为全精度FP32 1.1.1 使用FP16的优缺点
优点 FP16需要较少的内存因此更易于训练和部署大型神经网络同时还减少了数据移动同时可以使用更大的batch数学运算的运行速度大大降低了 NVIDIA提供的Volta GPU的确切数量是FP16中为125 TFlops而FP32中为15.7 TFlops加速8倍缺点 从FP32转到FP16时必然会降低精度 但有的时候这个精度的降低可以忽略不计FP16实际上可以很好地表示大多数权重和渐变。——拥有存储和使用FP32所需的所有这些额外位只是浪费。溢出错误 由于FP16的动态范围比FP32位的狭窄很多因此在计算过程中很容易出现上溢出和下溢出溢出之后就会出现NaN的问题
1.2 解决上述FP16的问题
1.2.1 混合精度训练
用FP16做储存和乘法而用FP32做累加避免舍入误差——混合精度训练的策略有效地缓解了舍入误差的问题
1.2.2 损失放大Loss scaling)
即使使用了混合精度训练还是存在无法收敛的情况 原因是激活梯度的值太小造成了溢出。——通过使用torch.cuda.amp.GradScaler通过放大loss的值来防止梯度的下溢出 只在BP时传递梯度信息使用真正更新权重时还是要把放大的梯度再unscale回去 反向传播前将损失变化手动增大2^k倍 因此反向传播时得到的中间变量激活函数梯度不会溢出 反向传播后将权重梯度缩小2^k倍恢复正常值。
2 torch.cuda.amp
AMP(自动混合精度的关键词有两个 自动 Tensor的dtype类型会自动变化框架按需自动调整tensor的dtype,当然有些地方还需手动干预混合精度 采用不止一种精度的Tensortorch.FloatTensor和torch.HalfTensor
2.1 Pytorch中不同类型的tensor
类型名称位数torch.DoubleTensor64bittorch.LongTensor64bittorch.FloatTensor默认32bittorch.IntTensor32bittorch.HalfTensor16bittorch.BFloat16Tensor16bittorch.ShortTensor16bittorch.ByteTensor无符号8bittorch.CharTensor8bittorch.BoolTensorBoolean
2.2 在AMP上下文中被自动转化为半精度浮点型的参数
__matmul__addbmmaddmmaddmvaddrbaddbmmbmmchain_matmulconv1dconv2dconv3dconv_transpose1dconv_transpose2dconv_transpose3dlinearmatmulmmmvprelu
2.3 autocast
from torch.cuda.amp import autocast as autocastmodel Net().cuda()
#首先初始化一个网络模型Net()并使用.cuda()方法将模型移至GPU上以利用GPU加速
#Net中的参数默认是torch.FloatTensoroptimizer optim.SGD(model.parameters(), ...)for input, target in data:optimizer.zero_grad()with autocast():output model(input)loss loss_fn(output, target)自动混合精度环境包含了前向过程模型的输出和loss的计算把支持参数对应tensor的dtype转换为半精度浮点型从而在不损失训练精度的情况下加快运算进入autocast的上下文时tensor可以是任何类型不需要在model或者input上手工调用.half() 框架会自动做loss.backward()optimizer.step()# 反向传播在autocast上下文之外 2.4 GradScaler
在2.3的基础上增加反向传播时增加梯度以防止下溢出
from torch.cuda.amp import autocast as autocast
from torch.cuda.amp import GradScalermodel Net().cuda()
#首先初始化一个网络模型Net()并使用.cuda()方法将模型移至GPU上以利用GPU加速
#Net中的参数默认是torch.FloatTensoroptimizer optim.SGD(model.parameters(), ...)scaler GradScaler()
# 在训练最开始之前实例化一个GradScaler对象for epoch in epochs:for input, target in data:optimizer.zero_grad()with autocast():output model(input)loss loss_fn(output, target)自动混合精度环境包含了前向过程模型的输出和loss的计算把支持参数对应tensor的dtype转换为半精度浮点型从而在不损失训练精度的情况下加快运算进入autocast的上下文时tensor可以是任何类型不需要在model或者input上手工调用.half() 框架会自动做scaler.scale(loss).backward()# Scales loss. 为了梯度放大防止下溢出# 代替原来的loss.backward()scaler.step(optimizer)scaler.step() 首先把梯度的值unscale回来.如果梯度的值不是 infs 或者 NaNs, 那么调用optimizer.step()来更新权重,否则忽略step调用从而保证权重不更新不被破坏scaler.update()准备着看是否要增大scaler scaler的大小在每次迭代中动态的估计 为了尽可能的减少梯度underflowscaler应该更大但是如果太大的话半精度浮点型的tensor又容易overflow变成inf或者NaN。——动态估计的原理就是在不出现inf或者NaN梯度值的情况下尽可能的增大scaler的值
3 一些tips
为了保证计算不溢出首先保证人工设定的常数不溢出。如epsilon,INF等Dimension最好是8的倍数:维度是的倍数性能最好涉及sum的操作要小心容易溢出 比如softmax操作建议用官方API并定义成layer写在模型初始化里如果遇到以下的报错 RuntimeError: expected scalar type float but found c10::Half 需要手动在tensor上调用.float()
