怎么做浏览器网站吗,杭州在线制作网站,网站设置桌面快捷方式,广东佛山哪家公司建网站Pytorch 学习开始 入门的材料来自两个地方#xff1a;
第一个是官网教程#xff1a;WELCOME TO PYTORCH TUTORIALS#xff0c;特别是官网的六十分钟入门教程 DEEP LEARNING WITH PYTORCH: A 60 MINUTE BLITZ。
第二个是韩国大神 Yunjey Choi 的 Repo#xff1a;pytorch-t…
Pytorch 学习开始 入门的材料来自两个地方
第一个是官网教程WELCOME TO PYTORCH TUTORIALS特别是官网的六十分钟入门教程 DEEP LEARNING WITH PYTORCH: A 60 MINUTE BLITZ。
第二个是韩国大神 Yunjey Choi 的 Repopytorch-tutorial代码写得干净整洁。
目的我是直接把 Yunjey 的教程的 python 代码挪到 Jupyter Notebook 上来一方面可以看到运行结果另一方面可以添加注释和相关资料链接。方便后面查阅。
顺便一题我的 Pytorch 的版本是 0.4.1 import torchprint(torch.version) 0.4.1 # 包import torch import torchvisionimport torch.nn as nnimport numpy as npimport torchvision.transforms as transforms autograd自动求导 / 求梯度 基础案例 1 # 创建张量tensorsx torch.tensor(1., requires_gradTrue)w torch.tensor(2., requires_gradTrue)b torch.tensor(3., requires_gradTrue) # 构建计算图 computational graph前向计算y w * x b # y 2 * x 3 # 反向传播计算梯度gradientsy.backward() # 输出梯度print(x.grad) # x.grad 2 print(w.grad) # w.grad 1 print(b.grad) # b.grad 1 tensor(2.)tensor(1.)tensor(1.) autograd自动求导 / 求梯度 基础案例 2 # 创建大小为 (10, 3) 和 (10, 2)的张量.x torch.randn(10, 3)y torch.randn(10, 2) # 构建全连接层fully connected layerlinear nn.Linear(3, 2)print (w: , linear.weight)print (b: , linear.bias) # 构建损失函数和优化器loss function and optimizer# 损失函数使用均方差# 优化器使用随机梯度下降lr是learning ratecriterion nn.MSELoss()optimizer torch.optim.SGD(linear.parameters(), lr0.01) # 前向传播pred linear(x) # 计算损失loss criterion(pred, y)print(loss: , loss.item()) # 反向传播loss.backward() # 输出梯度print (dL/dw: , linear.weight.grad) print (dL/db: , linear.bias.grad) # 执行一步-梯度下降1-step gradient descentoptimizer.step() # 更底层的实现方式是这样子的# linear.weight.data.sub_(0.01 * linear.weight.grad.data)# linear.bias.data.sub_(0.01 * linear.bias.grad.data) # 进行一次梯度下降之后输出新的预测损失# loss的确变少了pred linear(x)loss criterion(pred, y)print(‘loss after 1 step optimization: ‘, loss.item()) w: Parameter containing:tensor([[ 0.5180, 0.2238, -0.5470], [ 0.1531, 0.2152, -0.4022]], requires_gradTrue)b: Parameter containing:tensor([-0.2110, -0.2629], requires_gradTrue)loss: 0.8057981729507446dL/dw: tensor([[-0.0315, 0.1169, -0.8623], [ 0.4858, 0.5005, -0.0223]])dL/db: tensor([0.1065, 0.0955])loss after 1 step optimization: 0.7932316660881042 从 Numpy 装载数据 # 创建Numpy数组x np.array([[1, 2], [3, 4]])print(x) # 将numpy数组转换为torch的张量y torch.from_numpy(x)print(y) # 将torch的张量转换为numpy数组z y.numpy()print(z) [[1 2] [3 4]]tensor([[1, 2], [3, 4]])[[1 2] [3 4]] 输入工作流Input pipeline # 下载和构造CIFAR-10 数据集# Cifar-10数据集介绍https://www.cs.toronto.edu/~kriz/cifar.htmltrain_dataset torchvision.datasets.CIFAR10(root’…/…/…/data/’, trainTrue, transformtransforms.ToTensor(), downloadTrue) # 获取一组数据对从磁盘中读取image, label train_dataset[0]print (image.size())print (label) # 数据加载器提供了队列和线程的简单实现train_loader torch.utils.data.DataLoader(datasettrain_dataset, batch_size64, shuffleTrue) # 迭代的使用# 当迭代开始时队列和线程开始从文件中加载数据data_iter iter(train_loader) # 获取一组mini-batchimages, labels data_iter.next() # 正常的使用方式如下for images, labels in train_loader: # 在此处添加训练用的代码 pass Files already downloaded and verifiedtorch.Size([3, 32, 32])6 自定义数据集的 Input pipeline # 构建自定义数据集的方式如下class CustomDataset(torch.utils.data.Dataset): def init(self): # TODO # 1. 初始化文件路径或者文件名 pass def getitem(self, index): # TODO # 1. 从文件中读取一份数据比如使用nump.fromfilePIL.Image.open # 2. 预处理数据比如使用 torchvision.Transform # 3. 返回数据对比如 image和label pass def len(self): # 将0替换成数据集的总长度 return 0 # 然后就可以使用预置的数据加载器data loader了custom_dataset CustomDataset()train_loader torch.utils.data.DataLoader(datasetcustom_dataset, batch_size64, shuffleTrue) 预训练模型 # 下载并加载预训练好的模型 ResNet-18resnet torchvision.models.resnet18(pretrainedTrue) # 如果想要在模型仅对Top Layer进行微调的话可以设置如下# requieres_grad设置为False的话就不会进行梯度更新就能保持原有的参数for param in resnet.parameters(): param.requires_grad False # 替换TopLayer只对这一层做微调resnet.fc nn.Linear(resnet.fc.in_features, 100) # 100 is an example. # 前向传播images torch.randn(64, 3, 224, 224)outputs resnet(images)print (outputs.size()) # (64, 100) torch.Size([64, 100]) 保存和加载模型 # 保存和加载整个模型torch.save(resnet, ‘model.ckpt’)model torch.load(‘model.ckpt’) # 仅保存和加载模型的参数推荐这个方式torch.save(resnet.state_dict(), ‘params.ckpt’)resnet.load_state_dict(torch.load(‘params.ckpt’))
