情女照片做杯子网站,电子商务网站建设 第二版,注册网站用什么邮箱,企业网站建设与管理期末考试从全连接层到卷积
多层感知机十分适合处理表格数据#xff0c;其中行对应样本#xff0c;列对应特征。但对于图片等数据#xff0c;全连接层会导致参数过多。卷积神经网络#xff08;convolutional neural networks#xff0c;CNN#xff09;是机器学习利用自然图像中一…从全连接层到卷积
多层感知机十分适合处理表格数据其中行对应样本列对应特征。但对于图片等数据全连接层会导致参数过多。卷积神经网络convolutional neural networksCNN是机器学习利用自然图像中一些已知结构的创造性方法。
不变性
不管检测对象出现在图像中的哪个位置神经网络的前面几层应该对相同的图像区域具有相似的反应即为“平移不变性”。
局部性
神经网络的前面几层应该只探索输入图像中的局部区域而不过度在意图像中相隔较远区域的关系这就是“局部性”原则。最终可以聚合这些局部特征以在整个图像级别进行预测。
多层感知机的限制
全连接层的输入和输出变为二维矩阵含有高度和宽度。全连接层的参数W变为4-D张量即四维张量。假设包含偏置参数我们可以将全连接层形式化地表示为 隐藏层i,j位置的像素值Hi,j可以通过上述公式得到。
引入平移不变性
平移不变性。 这意味着检测对象在输入中的平移应该仅导致隐藏表示中的平移。也就是说和实际上不依赖于(,)的值即[],,,[],。并且是一个常数比如。因此我们可以简化定义为 这就是卷积convolution。使用系数[],对位置X(,)附近的像素X(,)进行加权得到[],。 注意[],的系数比[],,,少很多因为前者不再依赖于图像中的位置。这就是显著的进步
引入局部性
为了收集用来训练参数[],的相关信息我们不应偏离到距(,)很远的地方。这意味着在||Δ或||Δ的范围之外我们可以设置[],0。因此我们可以将[],重写为 可以理解为卷积核只在图像矩阵的一定范围内工作超出范围后隐藏层矩阵H[i,j]的值设为 。
总结
卷积是一个特殊的全连接层。
卷积神经网络是包含卷积层的一类特殊的神经网络。 在深度学习研究社区中被称为卷积核convolution kernel或者滤波器filter亦或简单地称之为该卷积层的权重通常该权重是可学习的参数。 当图像处理的局部区域很小时卷积神经网络与多层感知机的训练差异可能是巨大的以前多层感知机可能需要数十亿个参数来表示网络中的一层而现在卷积神经网络通常只需要几百个参数而且不需要改变输入或隐藏表示的维数。 参数大幅减少的代价是我们的特征现在是平移不变的并且当确定每个隐藏活性值时每一层只包含局部的信息。
卷积层
一个简单的二维卷积层例子 使用卷积核对输入逐行逐列进行扫描对扫描到的数值做乘法再相加得到输出层对应的数值。
二维卷积层
输入Xh(高度)*w(宽度)的矩阵卷积核W*的矩阵变差b一个实数输出Y。卷积核W和偏置b是可学习的参数。
一维数据文本、语言、时序序列。三维数据视频、医学图像、气象地图。
卷积层总结
卷积层将输入和卷积核进行交叉相关卷积运算加上偏移b后得到输出。
卷积核W和偏移是可学习的参数。
卷积核的大小是超参数。
卷积层使参数不会随着输入的变大而变得过大。
填充和步幅
填充
若给定32x32的输入图像应用5x5大小的卷积核。第一个卷积层输出大小为28x28(公式计算得出)第七个卷积层输出大小为4x4。更大的卷积核可以更快地减小输出大小。
问题卷积核较大但不想输出减小过快
答填充。在输入四周添加额外的行和列。 填充行和列输出形状为。通常取 。当为奇数在上下两侧填充。当为偶数在上下某一侧多填充一行即可。
步幅
步幅指行/列的滑动步长。
若输入大小较大卷积核较小则需要较多卷积层才能把输出降低到较小维度。如给定输入大小为224x224卷积核大小为5x5时需要44层才能将输出降低到4x4。这时便可增大步幅。
指定步幅后输出形状为。步幅不能整除时向下取整。如果输入高度和宽度可以被步幅整除。
步幅和填充总结
填充和步幅时卷积层的超参数。
填充在输出周围添加额外的行和列以控制输出形状的减少量。
步幅时每次滑动核窗口时的行和列的步长可以成倍减少输出形状。
