有什么网站可以做平面兼职,常州市中大建设工程有限公司网站,金华高端网站设计,瑞安市聚齐网络科技有限公司1.自动微分概念
自动微分#xff08;Automatic Differentiation#xff0c;AD#xff09;是一种利用计算机程序自动计算函数导数的技术#xff0c;它是机器学习和优化算法中的核心工具#xff08;如神经网络的梯度下降#xff09;
2.梯度的计算
训练神经网络时#x…1.自动微分概念
自动微分Automatic DifferentiationAD是一种利用计算机程序自动计算函数导数的技术它是机器学习和优化算法中的核心工具如神经网络的梯度下降
2.梯度的计算
训练神经网络时最常用的算法就是反向传播。在该算法中参数模型权重会根据损失函数关于对应参数的梯度进行调整。为了计算这些梯度PyTorch内置了名为 torch.autograd 的微分模块。计算梯度就是为了更新权重以下是计算流程 计算公式
① 梯度下降法公式: w w - r*grad (r是学习率, grad是梯度值)
即下一个点 起始点 - 学习率*梯度 ② w和b一定是可自动微分的张量, 类型是float类型 需要设置 torch.tensor(requries_gradTrue) 注 自动微分的张量不能转换成numpy数组, 通过.detach()张量剥离成不自动微分, 可以转换
单轮
# 导包
import torch# TODO 自动微分模块主要用于梯度计算!!!
# 定义权重 requires_gradTrue:开启自动微分
w torch.tensor([10, 20], requires_gradTrue, dtypetorch.float)
# 定义损失函数(loss,cost,criterion...)
loss 2 * w ** 2
# 自动微分求梯度,自动更新梯度
loss.sum().backward()
# 格式化输出
print(f当前权重: {w.data},固定学习率:{0.01} 更新后梯度: {w.grad},下一个权重: {w.data - 0.01 * w.grad})
# TODO 手动更新权重
# 公式: w1 w0 - learning_rate * grad
w.data w.data - 0.01 * w.grad
当前权重: tensor([10., 20.]),固定学习率:0.01 更新后梯度: tensor([40., 80.]),下一个权重: tensor([ 9.6000, 19.2000])多轮自动微分
# 导包
import torch# TODO 自动微分模块主要用于梯度计算!!!
# 定义权重 requires_gradTrue:开启自动微分
w torch.tensor(10, requires_gradTrue, dtypetorch.float)
# 打印首次默认梯度
print(f初始权重: {w.data},初始梯度: {w.grad}) # 初始梯度None
# TODO 定义遍历轮次
epochs 500
# TODO 开始遍历
for epoch in range(epochs):# 定义损失函数(自定义即可loss,cost,criterion...)loss w ** 2 20# loss 2 * w ** 2# TODO 注意: 默认梯度是累加的,所以每个轮次需要在自动微分之前进行清零!!!if w.grad is not None:w.grad.zero_() # 后续使用优化器清零# 自动微分求梯度,自动更新梯度loss.sum().backward()# 格式化输出print(f当前轮次:{epoch 1} 当前权重: {w.data},固定学习率:{0.01} 更新后梯度: {w.grad},下一个权重: {w.data - 0.01 * w.grad})# TODO 手动更新权重# 公式: w1 w0 - learning_rate * gradw.data w.data - 0.01 * w.grad代码量太多结果只放最开始和结束的权重
初始权重: 10.0,初始梯度: None
当前轮次:1 当前权重: 10.0,固定学习率:0.01 更新后梯度: 20.0,下一个权重: 9.800000190734863
当前轮次:500 当前权重: 0.000418612064095214,固定学习率:0.01 更新后梯度: 0.000837224128190428,下一个权重: 0.00041023982339538634推导w,b梯度
# 导包
import torch# 准备x训练数据
x torch.ones(2, 5)
print(x)
# 准备y训练数据
y torch.zeros(2, 3)
print(y)
# 准备w权重矩阵,开启自动微分!!!
w torch.randn(5, 3, requires_gradTrue)
print(w)
# 准备b偏置矩阵,开启自动微分!!!
b torch.randn(3, requires_gradTrue)
print(b)
print()
# TODO 最终目的根据上述数据,使用自动微分推导w和b的梯度
# 1.首先获取损失函数
loss_fn torch.nn.MSELoss()
# 2.然后,计算预测值- zwxb 注意: 这里面的wx是矩阵乘法需要遵循 (n,m)*(m,p)(n,p)
z x.matmul(w) b
# 3.接着,根据损失函数计算损失值
loss loss_fn(z, y)
# 4.最后,反向传播推导更新梯度
loss.sum().backward()
# TODO 打印更新后w和b梯度
print(fw.grad: {w.grad})
print(fb.grad: {b.grad})
[1., 1., 1., 1., 1.]])
tensor([[0., 0., 0.],[0., 0., 0.]])
tensor([[ 0.5068, 0.7041, -0.3873],[ 0.2316, -0.6001, -2.0265],[ 0.7206, -0.3271, -1.6952],[ 0.0378, 0.3277, -0.1473],[-0.9443, -0.8589, 0.6169]], requires_gradTrue)
tensor([-0.0277, 0.5842, -0.5767], requires_gradTrue)w.grad: tensor([[ 0.3498, -0.1134, -2.8108],[ 0.3498, -0.1134, -2.8108],[ 0.3498, -0.1134, -2.8108],[ 0.3498, -0.1134, -2.8108],[ 0.3498, -0.1134, -2.8108]])
b.grad: tensor([ 0.3498, -0.1134, -2.8108])
