做网站代理拉别人网站,公司注册资金100万要实缴吗,广西桂林电子科技大学,网站建设与推广合肥一、计算机视觉
1.概述
计算机视觉作为一门让机器学会如何去“看”的学科#xff0c;具体的说#xff0c;就是让机器去识别摄像机拍摄的图片或视频中的物体#xff0c;检测出物体所在的位置#xff0c;并对目标物体进行跟踪#xff0c;从而理解并描述出图片或视频里的场…一、计算机视觉
1.概述
计算机视觉作为一门让机器学会如何去“看”的学科具体的说就是让机器去识别摄像机拍摄的图片或视频中的物体检测出物体所在的位置并对目标物体进行跟踪从而理解并描述出图片或视频里的场景和故事以此来模拟人脑视觉系统。因此计算机视觉也通常被叫做机器视觉其目的是建立能够从图像或者视频中“感知”信息的人工系统。
计算机视觉技术已经在交通车牌识别、道路违章抓拍、安防人脸闸机、小区监控、金融刷脸支付、柜台的自动票据识别、医疗医疗影像诊断、工业生产产品缺陷自动检测等多个领域应用。 本文主要介绍计算机视觉的经典模型卷积神经网络和两个典型任务图像分类和目标检测。
卷积神经网络卷积神经网络Convolutional Neural Networks, CNN是计算机视觉技术最经典的模型结构。这里主要介绍卷积神经网络的常用模块包括卷积、池化、激活函数、批归一化、丢弃法等。 图像分类介绍图像分类算法的经典模型结构包括LeNet、AlexNet、VGG、GoogLeNet、ResNet。 目标检测介绍目标检测YOLO系列算法
2.发展历程 目前人类的视觉系统已经具备非常高的复杂度和强大的功能人脑中神经元数目达到了1000亿个这些神经元通过网络互相连接这样庞大的视觉神经网络使得我们可以很轻松的观察周围的世界。 计算机视觉技术尝试从不同的角度进行图像的识别由此发展出一系列的子任务。 (a) Image Classification 图像分类用于识别图像中物体的类别如bottle、cup、cube。 (b) Object Localization 目标检测用于检测图像中每个物体的类别并准确标出它们的位置。 (c) Semantic Segmentation 图像语义分割用于标出图像中每个像素点所属的类别属于同一类别的像素点用一个颜色标识。 (d) Instance Segmentation 实例分割值得注意的是b中的目标检测任务只需要标注出物体位置而d中的实例分割任务不仅要标注出物体位置还需要标注出物体的外形轮廓。 在早期的图像分类任务中通常是先人工提取图像特征再用机器学习算法对这些特征进行分类分类的结果强依赖于特征提取方法往往只有经验丰富的研究者才能完成如下图所示。 在这种背景下基于神经网络的特征提取方法应运而生。Yann LeCun是最早将卷积神经网络应用到图像识别领域的其主要逻辑是使用卷积神经网络提取图像特征并对图像所属类别进行预测通过训练数据不断调整网络参数最终形成一套能自动提取图像特征并对这些特征进行分类的网络。 这一方法在手写数字识别任务上取得了极大的成功但在接下来的时间里却没有得到很好的发展。其主要原因一方面是数据集不完善只能处理简单任务在大尺寸的数据上容易发生过拟合另一方面是硬件瓶颈网络模型复杂时计算速度会特别慢。
现在计算机视觉技术已经应用到包括分类、检测、分割、场景描述、图像生成和风格变换等领域中甚至不仅仅局限于2维图片包括视频处理技术和3D视觉等
二、卷积神经网络
1.简介
卷积神经网络是目前计算机视觉中使用最普遍的模型结构包含的基础模块有 卷积Convolution池化PoolingReLU激活函数批归一化Batch Normalization丢弃法Dropout 在手写数字识别任务中应用全连接网络进行特征提取将一张图片上的所有像素点展开成一个1维向量输入网络存在如下两个问题
1. 输入数据的空间信息被丢失。 空间上相邻的像素点往往具有相似的RGB值RGB的各个通道之间的数据通常密切相关但是转化成1维向量时这些信息被丢失。同时图像数据的形状信息中可能隐藏着某种本质的模式但是转变成1维向量输入全连接神经网络时这些模式也会被忽略。
2. 模型参数过多容易发生过拟合。 在手写数字识别案例中每个像素点都要跟所有输出的神经元相连接。当图片尺寸变大时输入神经元的个数会按图片尺寸的平方增大导致模型参数过多容易发生过拟合。
为了解决上述问题可以引入卷积神经网络进行特征提取既能提取到相邻像素点之间的特征模式又能保证参数的个数不随图片尺寸变化。图6 是一个典型的卷积神经网络结构多层卷积和池化层组合作用在输入图片上在网络的最后通常会加入一系列全连接层ReLU激活函数一般加在卷积或者全连接层的输出上网络中通常还会加入Dropout来防止过拟合。 说明在卷积神经网络中计算范围是在像素点的空间邻域内进行的卷积核参数的数目也远小于全连接层。卷积核本身与输入图片大小无关它代表了对空间邻域内某种特征模式的提取。比如有些卷积核提取物体边缘特征有些卷积核提取物体拐角处的特征图像上不同区域共享同一个卷积核。当输入图片大小不一样时仍然可以使用同一个卷积核进行操作。 2.卷积Convolution
介绍卷积算法的原理和实现方案 卷积计算 填充padding 步幅stride 感受野Receptive Field 多输入通道、多输出通道和批量操作
2.1卷积计算
卷积是数学分析中的一种积分变换的方法在图像处理中采用的是卷积的离散形式。这里需要说明的是在卷积神经网络中卷积层的实现方式实际上是数学中定义的互相关 cross-correlation运算与数学分析中的卷积定义有所不同这里跟其他框架和卷积神经网络的教程保持一致都使用互相关运算作为卷积的定义具体的计算过程如图7 所示。 说明卷积核kernel也被叫做滤波器filter假设卷积核的高和宽分别为Kh和Kw则将称为Kh×Kw卷积。在卷积神经网络中一个卷积算子除了上面描述的卷积过程之外还包括加上偏置项的操作。 2.2填充padding 当卷积核尺寸大于1时输出特征图的尺寸会小于输入图片尺寸。如果经过多次卷积输出图片尺寸会不断减小。为了避免卷积之后图片尺寸变小通常会在图片的外围进行填充(padding)如 图8 所示。 在卷积计算过程中通常会在高度或者宽度的两侧采取等量填充。 卷积核大小通常使用1357这样的奇数如果使用的填充大小为ph(kh−1)/2pw(kw−1)/2则卷积之后图像尺寸不变。例如当卷积核大小为3时padding大小为1卷积之后图像尺寸不变。
2.3步幅 stride 卷积核在图片上移动时每次移动的像素点个数。宽和高方向的步幅可以不同。
2.4感受野Receptive Field
输出特征图上每个点的数值是由输入图片上大小为kh×kw的区域的元素与卷积核每个元素相乘再相加得到的所以输入图像上kh×kw区域内每个元素数值的改变都会影响输出点的像素值。我们将这个区域叫做输出特征图上对应点的感受野。感受野内每个元素数值的变动都会影响输出点的数值变化。比如3×33×3卷积对应的感受野大小就是3×33×3如图10所示。 而当通过两层3×3的卷积之后感受野的大小将会增加到5×5如图11所示。 因此当增加卷积网络深度的同时感受野将会增大输出特征图中的一个像素点将会包含更多的图像语义信息。
2.5多通道和批量操作
前面介绍的卷积计算过程比较简单实际应用时处理的问题要复杂的多。例如对于彩色图片有RGB三个通道需要处理多输入通道的场景。输出特征图往往也会具有多个通道而且在神经网络的计算中常常是把一个批次的样本放在一起计算所以卷积算子需要具有批量处理多输入和多输出通道数据的功能下面将分别介绍这几种场景的操作方式。
多输入通道场景
上面的例子中卷积层的数据是一个2维数组但实际上一张图片往往含有RGB三个通道要计算卷积的输出结果卷积核的形式也会发生变化。假设输入图片的通道数为Cin输入数据的形状是Cin×Hin×Win计算过程如图12所示。 对每个通道分别设计一个2维数组作为卷积核卷积核数组的形状是Cin×kh×kw。 对任一通道Cin∈[0,Cin)分别用大小为kh×kw的卷积核在大小为Hin×Win的二维数组上做卷积。 将这Cin个通道的计算结果相加得到的是一个形状为Hout×Wout的二维数组。 多输出通道场景
一般来说卷积操作的输出特征图也会具有多个通道Cout这时我们需要设计Cout个维度为Cin×kh×kw的卷积核卷积核数组的维度是Cout×Cin×kh×kw如图13所示。
对任一输出通道cout∈[0,Cout)分别使用上面描述的形状为Cin×kh×kw的卷积核对输入图片做卷积。将这Cout个形状为Hout×Wout的二维数组拼接在一起形成维度为Cout×Hout×Wout的三维数组。 说明通常将卷积核的输出通道数叫做卷积核的个数。 批量操作
在卷积神经网络的计算中通常将多个样本放在一起形成一个mini-batch进行批量操作即输入数据的维度是N×Cin×Hin×Win。由于会对每张图片使用同样的卷积核进行卷积操作卷积核的维度与上面多输出通道的情况一样仍然是Cout×Cin×kh×kw输出特征图的维度是N×Cout×Hout×Wout如图14所示。 2.6卷积算子应用案例
简单的黑白边界检测
使用Conv2D算子完成一个图像边界检测的任务。图像左边为光亮部分右边为黑暗部分需要检测出光亮跟黑暗的分界处。
设置宽度方向的卷积核为[1,0,−1][1,0,−1]此卷积核会将宽度方向间隔为1的两个像素点的数值相减。只有当卷积核覆盖的像素点有的处于光亮区域有的处在黑暗区域时左右间隔为1的两个点像素值的差才不为0。将此卷积核作用到图片上输出特征图上只有对应黑白分界线的地方像素值才不为0。
图像中物体边缘检测
对于真实的图片也可以使用合适的卷积核(3*3卷积核的中间值是8周围一圈的值是8个-1)对其进行操作用来检测物体的外形轮廓观察输出特征图跟原图之间的对应关系。
图像均值模糊
采用卷积核5*5的卷积核中每个值均为1是用当前像素跟它邻域内的像素取平均这样可以使图像上噪声比较大的点变得更平滑。
3.池化Pooling
池化是使用某一位置的相邻输出的总体统计特征代替网络在该位置的输出其好处是当输入数据做出少量平移时经过池化函数后的大多数输出还能保持不变。比如当识别一张图像是否是人脸时我们需要知道人脸左边有一只眼睛右边也有一只眼睛而不需要知道眼睛的精确位置这时候通过池化某一片区域的像素点来得到总体统计特征会显得很有用。由于池化之后特征图会变得更小如果后面连接的是全连接层能有效的减小神经元的个数节省存储空间并提高计算效率。 如图15所示将一个2×2的区域池化成一个像素点。通常有两种方法平均池化和最大池化。
如图15a平均池化。这里使用大小为2×2的池化窗口每次移动的步幅为2对池化窗口覆盖区域内的像素取平均值得到相应的输出特征图的像素值。如图15b最大池化。对池化窗口覆盖区域内的像素取最大值得到输出特征图的像素值。当池化窗口在图片上滑动时会得到整张输出特征图。池化窗口的大小称为池化大小用Kh×Kw表示。在卷积神经网络中用的比较多的是窗口大小为2×2步幅为2的池化。 与卷积核类似池化窗口在图片上滑动时每次移动的步长称为步幅宽和高方向的移动大小可以不一样。可以对需要进行池化的图片进行填充填充方式与卷积类似。
在卷积神经网络中通常使用2×22×2大小的池化窗口步幅也使用2填充为0。通过这种方式的池化输出特征图的高和宽都减半但通道数不会改变。
4.ReLU激活函数
前面介绍的网络结构中普遍使用Sigmoid函数做激活函数。在神经网络发展的早期Sigmoid函数用的比较多而目前用的较多的激活函数是ReLU。这是因为Sigmoid函数在反向传播过程中容易造成梯度的衰减。
Sigmoid激活函数定义如下 ReLU激活函数的定义如下 梯度消失现象在神经网络里将经过反向传播之后梯度值衰减到接近于零的现象称作梯度消失现象。 从上面的函数曲线可以看出当x为较大的正数的时候Sigmoid函数数值非常接近于1函数曲线变得很平滑在这些区域Sigmoid函数的导数接近于零。当x为较小的负数时Sigmoid函数值也非常接近于0函数曲线也很平滑在这些区域Sigmoid函数的导数也接近于0。只有当x的取值在0附近时Sigmoid函数的导数才比较大。
由于最开始是将神经网络的参数随机初始化的x的取值很有可能在很大或者很小的区域这些地方都可能造成Sigmoid函数的导数接近于0导致x的梯度接近于0即使x取值在接近于0的地方按上面的分析经过Sigmoid函数反向传播之后x的梯度不超过y的梯度的1441如果有多层网络使用了Sigmoid激活函数则比较靠后的那些层梯度将衰减到非常小的值。
ReLU函数则不同虽然在x0的地方ReLU函数的导数为0。但是在x≥0的地方ReLU函数的导数为1能够将y的梯度完整的传递给x而不会引起梯度消失。
5.批归一化
批归一化Batch NormalizationBatchNorm是由Ioffe和Szegedy于2015年提出的已被广泛应用在深度学习中其目的是对神经网络中间层的输出进行标准化处理使得中间层的输出更加稳定。
通常我们会对神经网络的数据进行标准化处理处理后的样本数据集满足均值为0方差为1的统计分布这是因为当输入数据的分布比较固定时有利于算法的稳定和收敛。对于深度神经网络来说由于参数是不断更新的即使输入数据已经做过标准化处理但是对于比较靠后的那些层其接收到的输入仍然是剧烈变化的通常会导致数值不稳定模型很难收敛。BatchNorm能够使神经网络中间层的输出变得更加稳定并有如下三个优点 使学习快速进行能够使用较大的学习率 降低模型对初始值的敏感性 从一定程度上抑制过拟合
BatchNorm主要思路是在训练时以mini-batch为单位对神经元的数值进行归一化使数据的分布满足均值为0方差为1。具体计算过程如下
1. 计算mini-batch内样本的均值 2. 计算mini-batch内样本的方差 3. 计算标准化之后的输出 可以验证由标准化后的输出构成的mini-batch满足均值为0方差为1的分布。
将输出层的分布标准化之后可能会导致某些特征模式的丢失所以在标准化之后BatchNorm会紧接着对数据做仿射变换包括缩放、平移和旋转等。 其中γ和β是可学习的参数可以赋初始值γ1, β0在训练过程中不断学习调整。
预测时使用BatchNorm 上面介绍了在训练过程中使用BatchNorm对一批样本进行归一化的方法但如果使用同样的方法对需要预测的一批样本进行归一化则预测结果会出现不确定性。
不同批次样本AB一批或AC一批计算的均值和方差得到的结果一般来说是不同的。那么同一样本A的预测结果就会变得不确定这对预测过程来说是不合理的。解决方法是在训练过程中将大量样本的均值和方差保存下来预测时直接使用保存好的值而不再重新计算。实际上在BatchNorm的具体实现中训练时会计算均值和方差的移动平均值。
6.丢弃法Dropout
丢弃法Dropout是深度学习中一种常用的抑制过拟合的方法其做法是在神经网络学习过程中随机删除一部分神经元。训练时随机选出一部分神经元将其输出设置为0这些神经元将不对外传递信号。
下图是Dropout示意图左边是完整的神经网络右边是应用了Dropout之后的网络结构。应用Dropout之后会将标了X的神经元从网络中删除让它们不向后面的层传递信号。在学习过程中丢弃哪些神经元是随机决定因此模型不会过度依赖某些神经元能一定程度上抑制过拟合。 在预测场景时会向前传递所有神经元的信号可能会引出一个新的问题训练时由于部分神经元被随机丢弃了输出数据的总大小会变小。比如计算其L1范数会比不使用Dropout时变小但是预测时却没有丢弃神经元这将导致训练和预测时数据的分布不一样。
