微信开发 微网站开发的详细流程,乡镇中心小学校园网站建设指南,一个主机怎么做两个网站,pr值高的网站在全连接神经网络中#xff0c;每个神经元都和上一层的所有神经元彼此连接#xff0c;这会导致网络的参数量非常大#xff0c;难以实现复杂数据的处理。为了改善这种情况#xff0c;卷积神经网络应运而生。
一、卷积 在信号处理中#xff0c;卷积被定义为一个函数经过翻转… 在全连接神经网络中每个神经元都和上一层的所有神经元彼此连接这会导致网络的参数量非常大难以实现复杂数据的处理。为了改善这种情况卷积神经网络应运而生。
一、卷积 在信号处理中卷积被定义为一个函数经过翻转和移动后与另一个函数的乘积的积分。 那卷积具体卷了什么呢我们用f函数表示进食g函数表示消化。如果我们不考虑消化的话如果想求14点的时候我们胃里面剩什么只需要将f(t)在0点到14点求积分。但现在问题是我们的胃是一直消化的。 假如我们在12点的时候吃进去一碗米饭而在14点的时候消化的已经剩一半了这时候我们就需要用到消化函数g(t)。 g(t)代表消化曲线最大值为1在12点吃进去一碗米饭在14点米饭还剩 f (12)·g (14 - 12)即 f (x)·g (t - x) 。那么14点之前吃进去的食物就可以进行求积分 . 从上述来看我们可以把卷积理解为一个系统的输入不稳定在某时刻吃的东西多少不一定、输出稳定衰减/变化都符合g(t)函数用卷积求系统存量。
2D卷积 在图像卷积中过滤函数是不经过翻转的。卷积便是看很多像素点对某一个像素点如何产生的影响。2D卷积指的是在卷积操作过程中卷积核只有两个维度——宽和高。卷积核与输入矩阵中对齐的区域如下图灰色框所示。在对齐的区域里输入矩阵与卷积核对应位置的元素值相乘所有乘积再相加得到一个标量值为输出区域00位置的数值。接着卷积核向右平移平移的距离由步长stride决定stride为1则向右平移一步重复以上计算。 执行卷积的目的是从输入中提取有用的特征。在图像处理中执行卷积操作有不同的过滤函数可供选择每一种都有助于从输入图像中提取不同的方面或特征如水平/垂直/对角边等。类似地卷积神经网络通过卷积在训练期间使用自动学习权重的函数来提取特征。所有这些提取出来的特征之后会被组合在一起做出决策。同时卷积操作还具有权重共享weights sharing和平移不变性translation invariant可以考虑像素空间的关系。 一个输入图像在连续经过几次卷积操作之后输出的图像就变得很小了。当输出尺寸变成1x1的时候就无法进行卷积运算了这样的话我们难以构建较深的神经网络。况且在某些场景当中例如图像分割我们并不希望图像每次在经过特征提取之后都变小。此外卷积运算并没有充分利用边缘处的信息边缘处的像素点只会参与一次卷积运算影响一个输出结果但中间区域的像素点会参与多次卷积运算影响多个输出结果。而填充操作padding就会解决这些问题当padding1时图像周围会填充1个像素例如一个5x5的图像经过填充后会变成7x7的图像。 卷积计算后的图像输出尺寸大小计算公式如下 多通道卷积空间卷积 在2D卷积的例子中输入时单通道的二维数据。而对于实际的图片输入数据往往是多通道的比如RGB三通道的。多通道的卷积操作与单通道的类似只是在构造卷积核时需要注意卷积核的通道个数要与输入数据通道数相同。而对于卷积层而言也是如此一个卷积层往往也是多个通道组成的每个通道描述一个方面的特征。 生成一个输出通道就需要将每一个卷积核应用到前一层的输出通道上这是一个卷积核级别的操作过程。对所有的卷积核都重复这个过程以生成多通道之后这些通道组合在一起共同形成一个单输出通道。设输入层是一个 5 x 5 x 3 矩阵它有 3 个通道。过滤器则是一个 3 x 3 x 3 矩阵。首先过滤器中的每个卷积核都应用到输入层的 3 个通道执行 3 次卷积后得到了尺寸为 3 x 3 的 3 个通道。如下图所示 之后这 3 个通道都合并到一起元素级别的加法组成了一个大小为 3 x 3 x 1 的单通道。这个通道是输入层5 x 5 x 3 矩阵使用了过滤器3 x 3 x 3 矩阵后得到的结果。 同样我们也可以将这个过程视作将一个 3D 过滤器矩阵滑动通过输入层这个输入层和过滤器的深度都是相同的即通道数卷积核数。这个 3D 过滤器仅沿着 2 个方向图像的高和宽移动这也是为什么 3D 过滤器即使通常用于处理 3D 体积数据但这样的操作还是被称为 2D 卷积。假设输入图像和卷积核的通道数为3卷积核尺寸为3x3x3宽x高x通道数这时候将一个3D过滤器矩阵对图像沿着高和宽作卷积通道数为1的卷积核是进行9个像素点的计算而通道数为3的卷积核是进行27个像素点的计算。 多卷积核卷积 在实际神经网络中每一层都会有多个卷积核参与运算。每个卷积核分别于输入卷积得到一个单通道的输出最后多个单通道的输出拼在一起得到多通道输出。 单个卷积核只能提取单一特征要想利用卷积核提取更多的特征需要增加卷积核数量。r如果需要提取100个特征卷积层需要100个卷积核假设卷积核大小为4则共需要4*100个参数。 如何进行多通道图的多核卷积呢? 对多通道图进行一个核一个核地卷积最后生成n个特征图将这些特征图拼接在一起最终可以得到2x2xn的特征图。 3D卷积 上一节中最后一张图虽然实现了空间卷积但是本质上它还是2D卷积。而在 3D 卷积与2D卷积相比多了一个时间的维度。而且3D卷积的过滤器深度要比输入层深度小即卷积核大小通道大小。这样做的结果是3D 过滤器可以沿着所有 3 个方向移动即高、宽及图像通道。 每个位置经过元素级别的乘法和算法都得出一个数值。由于过滤器滑动通过 3D 空间输出的数值同样也以 3D 空间的形式呈现最终输出一个 3D 数据。如下图所示 1x1卷积 1x1卷积核通常会拿来对输入数据的通道做约简每个1x1卷积核想当于在输入数据的通道上做一个降维经过一个神经元个数为1的全连接层从而相当于大幅度降低了特征图的数量但不影响特征图的结构。1x1卷积表面上好像只是feature map每个值乘了一个数但实际上不仅仅如此由于会经过激活层所以实际上是进行了非线性映射其次就是可以改变feature 的channel数目。 经过大小为 1 x 1 x D 的过滤器的 1 x 1 卷积输出通道的维度为 H x W x 1。如果我们执行 N 次这样的 1 x 1 卷积然后将这些结果结合起来我们能得到一个维度为 H x W x N 的输出层。在执行计算昂贵的 3 x 3 卷积和 5 x 5 卷积前往往会使用 1 x 1 卷积来减少计算量。此外它们也可以利用调整后的线性激活函数来实现双重用途。 二、 反卷积转置卷积 Transposed Convolutions 卷积不会增大输入的高和宽通常要么不变、要么减半。但是在语义分割这种任务上仅仅使用卷积无法进行像素级的输出这时候就可以用到转置卷积来增大输入高和宽。反卷积是卷积的逆操作。 在反卷积进行的时候也需要滑动操作。将输入图像上的0、1、2、3分别与卷积核进行相乘操作得到结果后在与输出图像相同尺寸的框图上进行滑动最终将这些结果进行相加。 为什么反卷积又叫做转置卷积呢对于一个卷积操作可以构造一个V使得卷积等价于矩阵乘法其中是对应的向量版本。转置卷积则是将卷积操作等价于如果的尺寸为1xm的尺寸为1xn则的尺寸为mxn。如果卷积将输入从变成了同样超参数的转置卷积则从变成了卷积一般是做下采样转置卷积通常用作上采样。需要注意的是虽然转置卷积可以增加特征图的空间尺寸但是它不等同于传统意义上的上采样或者插值因为它引入了非线性转置卷积层在增加特征图尺寸的同时通过学习卷积核的权重能够保留或增加信息内容。 转置卷积也是一种卷积。当填充为0步幅为1时将输入填充k-1k是核窗口将核矩阵上下、左右翻转然后做正常卷积填充0、步幅1可以得到结果等价于转置卷积。 当填充为p步幅为1时将输入填充k-p-1k是核窗口将核矩阵上下、左右翻转然后做正常卷积填充0、步幅1可以得到结果等价于转置卷积。 当填充为p步幅为s时在行和列之间插入s-1行或列将输入填充k-p-1k是核窗口将核矩阵上下、左右翻转然后做正常卷积填充0、步幅1可以得到结果等价于转置卷积。 转置卷积输出特征图尺寸计算公式如下 三、 分组卷积Group convolution Group convolution 分组卷积最早在AlexNet中出现由于当时的硬件资源有限训练AlexNet时卷积操作不能全部放在同一个GPU处理因此作者把feature maps分给多个GPU分别进行处理最后把多个GPU的结果进行融合。 在传统的 2D 卷积中通过应用 128 个过滤器每个过滤器的大小为 3 x 3 x 3大小为 7 x 7 x 3 的输入层被转换为大小为 5 x 5 x 128 的输出层。针对通用情况可概括为通过应用 Dout 个卷积核每个卷积核的大小为 h x w x Din可将大小为 Hin x Win x Din 的输入层转换为大小为 Hout x Wout x Dout 的输出层。 而在分组卷积中过滤器被拆分为不同的组每一个组都负责具有一定深度的传统 2D 卷积的工作。一个过滤器被拆分为 2 个过滤器组的分组卷积。在每个过滤器组中其深度仅为名义上的 2D 卷积的一半Din / 2而每个过滤器组都包含 Dout /2 个过滤器。第一个过滤器组红色对输入层的前半部分做卷积[:, :, 0:Din/2]第二个过滤器组蓝色对输入层的后半部分做卷积[:, :, Din/2:Din]。最终每个过滤器组都输出了 Dout/2 个通道。整体上两个组输出的通道数为 2 x Dout/2 Dout。之后我们再将这些通道堆叠到输出层中输出层就有了 Dout 个通道。 四、扩张卷积空洞卷积 Dilated Convolutions 空洞卷积又叫扩张卷积是一种特殊的卷积运算。与标准卷积不同的是在卷积核尺寸、步长、填充之外又引入另一个卷积层的参数——扩张率膨胀率。膨胀率定义了内核中值之间的间距。扩张速率为2的3x3内核将具有与5x5内核相同的视野而只使用9个参数。 使用5x5内核并删除每个间隔的行和列如下图所示 为什么要增加采样间隔呢空洞卷积最初被提出时是为了解决图像分割中一些特定的问题特别是语义分割。图像分割做的是像素级的预测模型需要精确地预测出图像中地每个像素所属的类别这就需要模型具有较大的感受野以便捕捉到图像中上下文信息。同时图像分割需要保持高分辨率的输出传统的神经网络需要经过卷积层和池化层降低图像分辨率然后再经过上采样操作还原输入尺寸这个过程增大了感受野但也会导致细节丢失。空洞卷积便可缓解这个问题增大感受野的同时保持特征图的尺寸不变通过膨胀率卷积核可以在不增加参数数量和计算量的条件下覆盖更大的感受野这样网络就可以捕捉到图像中的长距离依赖关系同时又可以保持较高的空间分辨率。 直观上空洞卷积通过在卷积核部分之间插入空间让卷积核“膨胀”。这个增加的参数 空洞率表明了我们想要将卷积核放宽到多大。当 膨胀率为1,2,4 时的卷积核大小其中当膨胀率为1时空洞卷积就变成了一个标准的卷积。 在图像中3 x 3 的红点表明经过卷积后的输出图像的像素是 3 x 3。虽然三次空洞卷积都得出了相同维度的输出图像但是模型观察到的感受野是不同的。膨胀率为1时感受野为 3 x 3膨胀率为2时感受野是 7 x 7膨胀率为3时感受野增至 15x15。伴随这些操作的参数数量本质上是相同的不需要增加参数运算成本就能观察大的感受野。因此空洞卷积常被用以低成本地增加输出单元上的感受野同时还不需要增加卷积核大小当多个空洞卷积一个接一个堆叠在一起时这样是有效的。 五、可分离卷积
空间可分离卷积separable convolution 空间可分离卷积就是再空间维度对卷积核进行拆分将一个标准卷积核拆为一个个小卷积核最终一个标准的卷积运算可以转换为多个顺序执行的卷积运算。 例如一个矩阵A可以拆分为B和C的外积。那么用A作为卷积核对图像作卷积就等价于先用B作为卷积核对图像作卷积然后再用C作为卷积核对图像作卷积。 一般而言在一个可分离卷积中我们可以将内核操作拆分成多个步骤。我们用y convxk表示卷积其中y是输出图像x是输入图像k是内核。这一步很简单。接下来我们假设k可以由下面这个等式计算得出k k1.dotk2。这将使它成为一个可分离的卷积因为我们可以通过对k1和k2做2个一维卷积来取得相同的结果而不是用k做二维卷积。 以通常用于图像处理的Sobel内核为例。你可以通过乘以向量[1,0,-1]和[1,2,1] .T获得相同的内核。在执行相同的操作时你只需要6个而不是9个参数。如下所示其实有点类似矩阵的分解在线性系统的时候学过类似的 比起卷积空间可分离卷积要执行的矩阵乘法运算也更少。假设我们现在在 m x m 卷积核、卷积步长1 、填充0 的 N x N 图像上做卷积。传统的卷积需要进行 (N-2) x (N-2) x m x m 次乘法运算而空间可分离卷积只需要进行 N x (N-2) x m (N-2) x (N-2) x m (2N-2) x (N-2) x m 次乘法运算。空间可分离卷积与标准的卷积的计算成本之比为 深度可分离卷积depthwise separable convolution 深度可分离卷积和空间可分离卷积类似也是将标准卷积运算拆分为多个卷积运算深度维度指的是通道维度深度可分离卷积是在通道维度上对标准卷积进行拆分处理。一个大小为 w x h x c的输入经过co个wk x hk x c的卷积核进行标准卷积运算假设得到大小为a x b x co的输出整个运算过程中的运算量等于wk x hk x c x co。 同样大小的输入和输出换做深度可分离卷积是如何做的呢首先对输入逐通道卷积分别提取输入的每个通道上的特征。 但此时各通道上的特征是独立的还没有得到融合因此需要逐点卷积使用一个1 x 1 x c的卷积核对深度卷积得到的特征图进行卷积运算可以得到一个1 x a x b的输出此时的输出已经融合了c个通道的输出。 如果用co个1 x 1 x c的卷积核对特征图进行卷积运算此时的输出特征图变为a x b x co。整个过程的参数量为 wk x hk x 1 x c 1 x 1 x c x co 大大缩减了计算量和参数量。 参考资料
7.5多通道多卷积核_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1q34y1V7p4/?spm_id_from333.337.search-card.all.clickvd_source0dc0c2075537732f2b9a894b24578eed各种卷积层的理解深度可分离卷积、分组卷积、扩张卷积、反卷积_分层卷积-CSDN博客https://blog.csdn.net/gwplovekimi/article/details/89890510【深度学习 搞笑教程】22 卷积运算过程单通道 多通道 多卷积核| 草履虫都能听懂 零基础入门 | 持续更新_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1de411H7s8/?spm_id_from333.337.search-card.all.clickvd_source0dc0c2075537732f2b9a894b24578eed卷积神经网络原理 - 12 - 有趣的1x1卷积核_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1Q5411d7hz?spm_id_from333.788.videopod.sectionsvd_source0dc0c2075537732f2b9a894b24578eed【深度学习 搞笑教程】26 反卷积 空洞卷积 可分离卷积 | 草履虫都能听懂 零基础入门 | 持续更新_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV19x4y1E7yA/?spm_id_from333.337.search-card.all.clickvd_source0dc0c2075537732f2b9a894b24578eed47 转置卷积【动手学深度学习v2】_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV17o4y1X7Jn/?spm_id_from333.337.search-card.all.clickvd_source0dc0c2075537732f2b9a894b24578eed
