肇庆住房城乡建设局网站,手机兼职赚钱一单一结50元,文化网站建设方案,dnf免做卡网站引言
本项目基于pytorch构建了一个深度学习神经网络#xff0c;网络包含卷积层、池化层、全连接层#xff0c;通过此网络实现对MINST数据集手写数字的识别#xff0c;通过本项目代码#xff0c;从原理上理解手写数字识别的全过程#xff0c;包括反向传播#xff0c;梯度…引言
本项目基于pytorch构建了一个深度学习神经网络网络包含卷积层、池化层、全连接层通过此网络实现对MINST数据集手写数字的识别通过本项目代码从原理上理解手写数字识别的全过程包括反向传播梯度下降等。
1 卷积神经网络介绍
1.1 什么是卷积神经网络
卷积神经网络是一种多层、前馈型神经网络。从功能上来说可以分为两个阶段特征提取阶段和分类识别阶段。 特征提取阶段能够自动提取输入数据中的特征作为分类的依据它由多个特征层堆叠而成每个特征层又由卷积层和池化层组成。处在前面的特征层捕获图像中局部细节的信息而后面的特征层能够捕获到图像中更加高层、抽象的信息。
1.1.1 卷积核Convolution Kernel
在卷积神经网络的卷积层中一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中通常包含若干个特征图(featureMap)每个特征图由一些矩形排列的的神经元组成同一特征图的神经元共享权值这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化在网络的训练过程中卷积核将学习得到合理的权值。共享权值卷积核带来的直接好处是减少网络各层之间的连接同时又降低了过拟合的风险。
1.1.2 感受野Receptive Field
定义在卷积神经网络中卷积神经网络每一层输出的特征图feature map上的像素点在输入图片上映射的区域大小。在典型CNN结构中FC层每个输出节点的值都依赖FC层所有输入而CONV层每个输出节点的值仅依赖CONV层输入的一个区域 这个区域之外的其他输入值都不会影响输出值该区域就是感受野。下图为感受野示意图 当我们采用尺寸不同的卷积核时最大的区别就是感受野的大小不同所以经常会采用多层小卷积核来替换一层大卷积核在保持感受野相同的情况下减少参数量和计算量。例如十分常见的用两层3*3卷积核来替换一层5*5卷积核的方法 1.3 标准化Batch Normalization
在引入BN之前以前的model training有一些系统性的问题导致很多算法收敛速度都非常慢甚至根本就不能工作尤其在使用sigmoid激活函数时。在机器学习中我们通常会对输入特征进行标准化或归一化因为直接输入的数据每个维度量纲可能不同、数值差别很大导致模型不能很好地从各个特征中学习。当上一层输出值太大或太小其经过sigmoid激活函数时会落在饱和区域反向传播会有梯度消失的问题。批标准化Batch Normalization对一小批数据batch做标准化处理。使数据符合0均值1为标准差的分布。 Batch Normalization层通常添加在每个神经网络层和激活层之间对神经网络层输出的数据分布进行统一和调整变成均值为0方差为1的标准正态分布解决神经网络中梯度消失的问题使输出位于激活层的非饱和区达到加快收敛的效果。 1.1.4 池化层Pooling
池化 (Pooling) 用来降低神经网络中的特征图Feature Map的维度。在卷积神经网络中池化操作通常紧跟在卷积操作之后用于降低特征图的空间大小。池化操作的基本思想是将特征图划分为若干个子区域一般为矩形并对每个子区域进行统计汇总。池化通常有均值子池化mean pooling和最大值池化max pooling两种形式。池化可以看作一种特殊的卷积过程。卷积和池化大大简化了模型复杂度减少了模型的参数。
最大值池化可提取图片纹理均值池化可保留背景特征 1.2 卷积的计算过程
假设我们输入的是5*5*1的图像中间的那个3*3*1是我们定义的一个卷积核简单来说可以看做一个矩阵形式运算器通过原始输入图像和卷积核做运算可以得到绿色部分的结果怎么样的运算呢实际很简单就是我们看左图中深色部分处于中间的数字是图像的像素处于右下角的数字是我们卷积核的数字只要对应相乘再相加就可以得到结果。例如图中‘3*01*12*22*20*20*02*00*10*29’
计算过程如下动图 图中最左边的三个输入矩阵就是我们的相当于输入d3时有三个通道图每个通道图都有一个属于自己通道的卷积核我们可以看到输出output的只有两个特征图意味着我们设置的输出d2有几个输出通道就有几层卷积核比如图中就有FilterW0和FilterW1这意味着我们的卷积核数量就是输入d的个数乘以输出d的个数图中就是2*36个其中每一层通道图的计算与上文中提到的一层计算相同再把每一个通道输出的输出再加起来就是绿色的输出数字。
步长每次卷积核移动的大小
输出特征尺寸计算在了解神经网络中卷积计算的整个过程后就可以对输出特征图的尺寸进行计算。如下图所示5×5的图像经过3×3大小的卷积核做卷积计算后输出特征尺寸为3×3 全零填充
当卷积核尺寸大于 1 时输出特征图的尺寸会小于输入图片尺寸。如果经过多次卷积输出图片尺寸会不断减小。为了避免卷积之后图片尺寸变小通常会在图片的外围进行填充(padding)如下图所示
全零填充padding为了保持输出图像尺寸与输入图像一致经常会在输入图像周围进行全零填充如下所示在5×5的输入图像周围填0则输出特征尺寸同为5×5。 当padding1和paadding2时如下图所示 2 使用CNN实现MNIST手写数字识别
机器识图的过程机器识别图像并不是一下子将一个复杂的图片完整识别出来而是将一个完整的图片分割成许多个小部分把每个小部分里具有的特征提取出来再将这些小部分具有的特征汇总到一起从而完成机器识别整个图像。
2.1 MNIST数据介绍
MNIST数据集是美国国家标准与技术研究院收集整理的大型手写数字数据库,包含60,000个示例的训练集以及10,000个示例的测试集。其中的图像的尺寸为28*28。采样数据显示如下 2.2 基于pytorch的代码实现
import torch
import torch.nn as nn
import torchvision.datasets as dataset
import torchvision.transforms as transforms
import torch.utils.data as data_utils
import matplotlib.pyplot as plt
import numpy as np#获取数据集
train_datadataset.MNIST(root./data,trainTrue,transformtransforms.ToTensor(),downloadTrue)
test_datadataset.MNIST(root./data,trainFalse,transformtransforms.ToTensor(),downloadFalse)
train_loaderdata_utils.DataLoader(datasettrain_data, batch_size64, shuffleTrue)
test_loaderdata_utils.DataLoader(datasettest_data, batch_size64, shuffleTrue)device torch.device(cuda if torch.cuda.is_available() else cpu)#创建网络
class Net(torch.nn.Module):def __init__(self):super().__init__()self.convnn.Conv2d(1, 32, kernel_size5, padding2)self.bat2dnn.BatchNorm2d(32)self.relunn.ReLU()self.poolnn.MaxPool2d(2)self.linearnn.Linear(14 * 14 * 32, 70)self.tanhnn.Tanh()self.linear1nn.Linear(70,30)self.linear2nn.Linear(30, 10)def forward(self,x):yself.conv(x)yself.bat2d(y)yself.relu(y)yself.pool(y)yy.view(y.size()[0],-1)yself.linear(y)yself.tanh(y)yself.linear1(y)yself.tanh(y)yself.linear2(y)return y
cnnNet()
cnn cnn.to(device)#损失函数
lostorch.nn.CrossEntropyLoss()#优化函数
optimetorch.optim.Adam(cnn.parameters(), lr0.001)#训练模型
accuracy_rate [0]
num_epochs 10
for epo in range(num_epochs):for i, (images,lab) in enumerate(train_loader):imagesimages.to(device)lablab.to(device)out cnn(images)losslos(out,lab)optime.zero_grad()loss.backward()optime.step()print(epo:{},i:{},loss:{}.format(epo1,i,loss))#测试模型loss_test0accuracy0with torch.no_grad():for j, (images_test,lab_test) in enumerate(test_loader):images_test images_test.to(device)lab_testlab_test.to(device)out1 cnn(images_test)loss_testlos(out1,lab_test)loss_testloss_test/(len(test_data)//100)_,pout1.max(1)accuracy (plab_test).sum().item()accuracyaccuracy/len(test_data)accuracy_rate.append(accuracy)print(loss_test:{},accuracy:{}.format(loss_test,accuracy))accuracy_rate np.array(accuracy_rate)
times np.linspace(0, num_epochs, num_epochs1)
plt.xlabel(times)
plt.ylabel(accuracy rate)
plt.plot(times, accuracy_rate)
plt.show()运行结果
epo:1,i:937,loss:0.2277517020702362
loss_test:0.0017883364344015718,accuracy:0.9729
epo:2,i:937,loss:0.01490325853228569
loss_test:9.064914047485217e-05,accuracy:0.9773
epo:3,i:937,loss:0.0903361514210701
loss_test:0.0003304268466308713,accuracy:0.9791
epo:4,i:937,loss:0.003910894505679607
loss_test:0.00019427068764343858,accuracy:0.9845
epo:5,i:937,loss:0.011963552795350552
loss_test:3.232352901250124e-05,accuracy:0.983
epo:6,i:937,loss:0.04549657553434372
loss_test:0.0001462855434510857,accuracy:0.9859
epo:7,i:937,loss:0.02365218661725521
loss_test:3.670657861221116e-06,accuracy:0.9867
epo:8,i:937,loss:0.00040980291669256985
loss_test:1.4913265658833552e-05,accuracy:0.9872
epo:9,i:937,loss:0.024399513378739357
loss_test:7.590289897052571e-05,accuracy:0.9865
epo:10,i:937,loss:0.0012365489965304732
loss_test:0.00014759502664674073,accuracy:0.98693 总结
本文介绍了卷积神经网络中的关键概念包含卷积核、池化、标准化、感受野等并基于MNIST数据集构建了卷积神经网络识别模型经过10个epochs训练正确率达到了98%充分展示了卷积神经网络在图片识别中的作用。
