城乡建设查询网站,做网站需要多久,哪个网站做网站好,重庆旅游必去景点动手学深度学习#xff1a;2.线性回归pytorch实现 1.手动构造数据集2.小批量读取数据集3.定义模型和损失函数4.初始化模型参数5.小批量随机梯度下降优化算法6.训练完整代码QA 1.手动构造数据集
import torch
from torch.utils import data
from d2l import torch as d2l… 动手学深度学习2.线性回归pytorch实现 1.手动构造数据集2.小批量读取数据集3.定义模型和损失函数4.初始化模型参数5.小批量随机梯度下降优化算法6.训练完整代码QA 1.手动构造数据集
import torch
from torch.utils import data
from d2l import torch as d2ltrue_w torch.tensor([2, -3.4])
true_b 4.2
features, labels d2l.synthetic_data(true_w, true_b, 1000)使用 d2l.torch.synthetic_data() 函数生成 y X w b n o i s e y Xw b noise yXwbnoise 数据集。
2.小批量读取数据集
可以调用框架中现有的API来读取数据。 我们将features和labels作为API的参数传递并通过数据迭代器指定batch_size。
布尔值is_train表示是否希望数据迭代器对象在每个迭代周期内打乱数据。
def load_array(data_arrays, batch_size, is_trainTrue): 构造一个PyTorch数据迭代器dataset data.TensorDataset(*data_arrays)return data.DataLoader(dataset, batch_size, shuffleis_train)batch_size 10
data_iter load_array((features, labels), batch_size)构造的 data_iter 数据迭代器使用方法同 线性回归从0开始实现 中的使用相同。
为了验证是否正常工作让我们读取并打印第一个小批量样本这里我们使用iter构造Python迭代器并使用next从迭代器中获取第一项
next(iter(data_iter))[tensor([[ 0.5050, -1.7171],[ 0.8045, -1.2517],[-0.4567, 0.2793],[-0.8896, -0.4969],[ 1.6303, 0.1123],[ 2.5058, -0.0823],[-0.3293, -1.2887],[-0.9669, -1.8388],[-0.1570, -0.6264],[ 1.0302, 1.2225]]),
tensor([[11.0521],[10.0705],[ 2.3309],[ 4.1006],[ 7.0623],[ 9.4687],[ 7.9316],[ 8.5144],[ 6.0212],[ 2.1108]])]3.定义模型和损失函数
对于标准深度学习模型我们可以使用框架的预定义好的层。这使我们只需关注使用哪些层来构造模型而不必关注层的实现细节。
我们首先定义一个模型变量net它是一个Sequential类的实例。 Sequential类将多个层串联在一起。 当给定输入数据时Sequential实例将数据传入到第一层 然后将第一层的输出作为第二层的输入以此类推。
在下面的例子中我们的模型只包含一个层因此实际上不需要Sequential。 但是由于以后几乎所有的模型都是多层的在这里使用Sequential会让你熟悉“标准的流水线”。
全连接层 fully-connected layer 在PyTorch中全连接层在Linear类中定义。
我们将两个参数传递到nn.Linear中。 第一个指定输入特征形状即2第二个指定输出特征形状输出特征形状为单个标量因此为1。
from torch import nnnet nn.Sequential(nn.Linear(2, 1))计算均方误差使用的是MSELoss类也称为平方 L 2 L_2 L2 范数。 默认情况下它返回所有样本损失的平均值。
loss nn.MSELoss()4.初始化模型参数
在使用net之前我们需要初始化模型参数。 如在线性回归模型中的权重和偏置。 深度学习框架通常有预定义的方法来初始化参数。 在这里我们指定每个权重参数应该从均值为0、标准差为0.01的正态分布中随机采样 偏置参数将初始化为零。
正如我们在构造nn.Linear时指定输入和输出尺寸一样 现在我们能直接访问参数以设定它们的初始值。我们通过net[0]选择网络中的第一个图层 然后使用weight.data和bias.data方法访问参数。 我们还可以使用替换方法normal_和fill_来重写参数值。
net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)5.小批量随机梯度下降优化算法
小批量随机梯度下降算法是一种优化神经网络的标准工具 PyTorch在optim模块中实现了该算法的许多变种。
当我们实例化一个SGD实例时我们要指定优化的参数 可通过net.parameters()从我们的模型中获得以及优化算法所需的超参数字典。 小批量随机梯度下降只需要设置lr值这里设置为0.03。
trainer torch.optim.SGD(net.parameters(), lr0.03)可以参考 线性回归从0开始实现 中的 sgd 函数的实现。
6.训练
在每个迭代周期里我们将完整遍历一次数据集train_data 不停地从中获取一个小批量的输入和相应的标签。 对于每一个小批量我们会进行以下步骤:
通过调用net(X)生成预测并计算损失l前向传播。通过进行反向传播来计算梯度。通过调用优化器来更新模型参数。
num_epochs 3
for epoch in range(num_epochs):for X, y in data_iter:l loss(net(X) ,y)trainer.zero_grad() # 在默认情况下PyTorch会累积梯度我们需要清除之前的值l.backward()trainer.step()l loss(net(features), labels)print(fepoch {epoch 1}, loss {l:f})
epoch 1, loss 0.000354
epoch 2, loss 0.000104
epoch 3, loss 0.000104下面我们比较生成数据集的真实参数和通过有限数据训练获得的模型参数。要访问参数我们首先从net访问所需的层然后读取该层的权重和偏置。
w net[0].weight.data
print(w的估计误差, true_w - w.reshape(true_w.shape))
b net[0].bias.data
print(b的估计误差, true_b - b)
w的估计误差: tensor([-8.0824e-05, 4.2796e-04])
b的估计误差: tensor([-0.0006])完整代码
import torch
from torch.utils import data
from d2l import torch as d2l
from torch import nntrue_w torch.tensor([2, -3.4])
true_b 4.2
features, labels d2l.synthetic_data(true_w, true_b, 1000)def load_array(data_arrays, batch_size, is_trainTrue):构造一个PyTorch数据迭代器dataset data.TensorDataset(*data_arrays)return data.DataLoader(dataset, batch_size, shuffleis_train)batch_size 10
data_iter load_array((features, labels), batch_size)
print(next(iter(data_iter)))net nn.Sequential(nn.Linear(2, 1))
net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)loss nn.MSELoss(reductionsum)
trainer torch.optim.SGD(net.parameters(), lr0.03 / batch_size)num_epochs 3
for epoch in range(num_epochs):for X, y in data_iter:l loss(net(X), y)trainer.zero_grad()l.backward()trainer.step()l loss(net(features), labels)print(fepoch {epoch 1}, loss {l:f})w net[0].weight.data
print(w的估计误差:, true_w - w.reshape(true_w.shape))
b net[0].bias.data
print(b的估计误差:, true_b - b)QA
如果将小批量的总损失替换为小批量损失的平均值需要如何更改学习率 如果我们用 nn.MSELoss(reduction‘sum’) 替换 nn.MSELoss() 为了使代码的行为相同需要怎么更改学习速率为什么 查看损失函数 nn.MSELoss 定义可知损失默认为 mean
def __init__(self, size_averageNone, reduceNone, reduction: str mean) - None:super().__init__(size_average, reduce, reduction)当使用 nn.MSELoss(reduction‘sum’) 时要把学习率除以batch_size才能达到 nn.MSELoss() 同样的效果。因为在求导过程中常数项作为系数保持不变梯度的大小也乘上了batch_size。
loss nn.MSELoss(reductionsum)trainer torch.optim.SGD(net.parameters(), lr0.03/batch_size) 修改前的运行效果
epoch 1, loss 0.000354
epoch 2, loss 0.000104
epoch 3, loss 0.000104
w的估计误差: tensor([-8.0824e-05, 4.2796e-04])
b的估计误差: tensor([-0.0006])修改以后运行效果
epoch 1, loss 0.220722
epoch 2, loss 0.110026
epoch 3, loss 0.109946
w的估计误差: tensor([0.0008, 0.0002])
b的估计误差: tensor([9.3937e-05])
