上海市教育网官网,gzip网站优化,建设官网网址,杭州公司网站建设电话一、卷积神经网络的发展
convolutional neural network
在计算机视觉领域#xff0c;通常要做的就是指用机器程序替代人眼对目标图像进行识别等。那么神经网络也好还是卷积神经网络其实都是上个世纪就有的算法#xff0c;只是近些年来电脑的计算能力已非当年的那种计算水平…一、卷积神经网络的发展
convolutional neural network
在计算机视觉领域通常要做的就是指用机器程序替代人眼对目标图像进行识别等。那么神经网络也好还是卷积神经网络其实都是上个世纪就有的算法只是近些年来电脑的计算能力已非当年的那种计算水平同时现在的训练数据很多于是神经网络的相关算法又重新流行起来因此卷积神经网络也一样流行。
1974年Paul Werbos提出了误差反向传导来训练人工神经网络使得训练多层神经网络成为可能。1979年Kunihiko Fukushima福岛邦彦提出了Neocognitron 卷积、池化的概念基本形成。1986年Geoffrey Hinton与人合著了一篇论文Learning representations by back-propagation errors。1989年Yann LeCun提出了一种用反向传导进行更新的卷积神经网络称为LeNet。1998年Yann LeCun改进了原来的卷积网络LeNet-5。 深度学习三大领域: 计算机视觉CV 自然语言处理NLP 语音识别 VR 二、为什么需要卷积神经网络
2.1 图像特征数量对神经网络效果压力
假设下图是一图片大小为28 * 28 的黑白图片时候每一个像素点只有一个值单通道。那么总的数值个数为 784个特征。 那现在这张图片是彩色的那么彩色图片由RGB三通道组成也就意味着总的数值有28* 28 *3 2352个值。 从上面我们得到一张图片的输入是2352个特征值即神经网路当中与若干个神经元连接假设第一个隐层是10个神经元那么也就是23520个权重参数。
如果图片再大一些呢假设图片为1000 *1000* 3那么总共有3百万数值同样接入10个神经元那么就是3千万个权重参数。这样的参数大小神经网络参数更新需要大量的计算不说也很难达到更好的效果大家就不倾向于使用多层神经网络了。
所以就有了卷积神经网络的流行那么卷积神经网络为什么大家会选择它。那么先来介绍感受野以及边缘检测的概念。 2.2 感受野
1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究提出了感受野(receptive field)的概念Fukushima基于感受野概念提出的神经认知机(neocognitron)可以看作是卷积神经网络的第一个实现网络。
单个感受器与许多感觉神经纤维相联系感觉信息是通过许多感受神经纤维发放总和性的空间与时间类型不同的冲动相当于经过编码来传递。 2.3 边缘检测
为了能够用更少的参数检测出更多的信息基于上面的感受野思想。通常神经网络需要检测出物体最明显的垂直和水平边缘来区分物体。比如 看一个列子一个 6×6的图像卷积与一个3×3的过滤器Filter or kenel进行卷积运算符号为 ** 也可能是矩阵乘法所以通常特别指定是卷积的时候代表卷积意思。
相当于将 Filter 放在Image 上从左到右、从上到下地默认一个像素移动过整个Image分别计算 ImageImage 被 Filter 盖住的部分与 Filter的逐元素乘积的和 在这个6×6 的图像中左边一半像素的值全是 10右边一半像素的值全是 0中间是一条非常明显的垂直边缘。这个图像与过滤器卷积的结果中中间两列的值都是 30两边两列的值都是 0即检测到了原 6×66×6 图像中的垂直边缘。
注虽然看上去非常粗是因为我们的图像太小只有5个像素长、宽所以最终得到结果看到的是两个像素位置如果在一个500 x 500的图当中就是一个竖直的边缘了。 随着深度学习的发展我们需要检测更复杂的图像中的边缘与其使用由人手工设计的过滤器还可以将过滤器中的数值作为参数通过反向传播来学习得到。算法可以根据实际数据来选择合适的检测目标无论是检测水平边缘、垂直边缘还是其他角度的边缘并习得图像的低层特征。
