海南海口府城网站开发,现在视频做网站晚了吗,信阳网站公司,永久免费正版cad类软件✅作者简介#xff1a;人工智能专业本科在读#xff0c;喜欢计算机与编程#xff0c;写博客记录自己的学习历程。 #x1f34e;个人主页#xff1a;小嗷犬的个人主页 #x1f34a;个人网站#xff1a;小嗷犬的技术小站 #x1f96d;个人信条#xff1a;为天地立心人工智能专业本科在读喜欢计算机与编程写博客记录自己的学习历程。 个人主页小嗷犬的个人主页 个人网站小嗷犬的技术小站 个人信条为天地立心为生民立命为往圣继绝学为万世开太平。 本文目录 标题和作者摘要创新点ReLU多 GPUDropout其他 网络结构输入层Input layer卷积层C1卷积层C2卷积层C3卷积层C4卷积层C5全连接层FC6全连接层FC7输出层Output layer 标题和作者
ImageNet Classification with Deep Convolutional Neural Networks意为使用深度卷积神经网络在 ImageNet 数据集上进行分类发表于 2012 年。
作者信息
Alex Krizhevsky本文第一作者本文提出的网络结构后被称为 AlexNet。Ilya Sutskever本文第二作者2015 年加入 OpenAI成为 OpenAI 的联合创始人兼首席科学家。Geoffrey E. Hinton本文第三作者2018 年图灵奖得主神经网络之父前两位作者的导师。
摘要 We trained a large, deep convolutional neural network to classify the 1.2 million high-resolution images in the ImageNet LSVRC-2010 contest into the 1000 different classes. On the test data, we achieved top-1 and top-5 error rates of 37.5% and 17.0% which is considerably better than the previous state-of-the-art. The neural network, which has 60 million parameters and 650,000 neurons, consists of five convolutional layers, some of which are followed by max-pooling layers, and three fully-connected layers with a final 1000-way softmax. To make training faster, we used non-saturating neurons and a very efficient GPU implementation of the convolution operation. To reduce overfitting in the fully-connected layers we employed a recently-developed regularization method called “dropout” that proved to be very effective. We also entered a variant of this model in the ILSVRC-2012 competition and achieved a winning top-5 test error rate of 15.3%, compared to 26.2% achieved by the second-best entry. 本文提出了一个大型深度卷积神经网络该网络在 ImageNet LSVRC-2010 比赛任务120 万张图片的 1000 分类任务中取得了 top-1 准确率 62.5% 和 top-5 准确率 83.0% 的好成绩超越了以往所有的 SOTA 方法。
该网络有 6000 万个参数和 65 万个神经元由五个卷积层组成其中一些后面跟着最大池化层以及三个全连接层和一个最终的 1000 分类的 softmax 层。
为了使训练更快作者使用 ReLU 作为激活函数non-saturating neurons并使用 GPU 加速卷积运算。
为了减少全连接层的过拟合作者采用了一种新的正则化方法即 Dropout实验证明这一方法非常有效。
作者在 ILSVRC-2012 比赛中使用了这个模型的一个变体并以 84.7% 的 top-5 准确率的好成绩赢得了比赛该比赛第二名的 top-5 准确率仅为 73.8%。
创新点
笔者认为的几个影响比较大的创新点
使用了 ReLU 作为激活函数而非传统的 Tanh、Sigmoid 函数。ReLU 未特别压缩输出值的范围在文中被称为 non-saturating neurons且运算简单。将卷积运算置于多 GPU 上进行大大加快了训练速度当时的企业普遍还在使用 CPU 或单 GPU 训练模型。使用了 Dropout 正则化方法降低了模型的过拟合风险。
ReLU
ReLU即 Rectified Linear Unit是一种激活函数即 f ( x ) m a x ( 0 , x ) f(x)max(0,x) f(x)max(0,x)。相比传统的 Tanh、Sigmoid 函数ReLU 运算速度更快。 在一个 4 层的卷积网络中使用 ReLU 函数在 CIFAR-10 数据集上达到 25% 的训练错误率要比在相同网络相同条件下使用 Tanh 函数快 6 倍。
多 GPU
本文的模型使用两个 GTX 580 3GB GPU 进行训练。
Dropout
Dropout 是一种正则化方法具体做法是在训练过程中随机将一些神经元的输出置为 0。
笔者对 Dropout 的理解是类似于 Bagging每次的训练数据事实上仅经过了所有的非 Dropout 神经元和一部分 Dropout 神经元相当于隐式地训练了 2 N 2^N 2N N N N 为 Dropout 神经元个数 个子网络尽管这些模型不是相互独立的最终的输出是所有节点输出的综合值也即最终网络是所有子网络的综合。
其他
除此之外本文还有一些其他的创新点比如
Local Response Normalization即局部响应归一化这是一种对局部神经元的活动创建竞争机制使得其中响应比较大的值变得相对更大并抑制其他反馈较小的神经元这样可以使得模型对于输入的微小变化不敏感从而提高模型的泛化能力。Overlapping Pooling即重叠池化池化窗口大于步长每次池化都有重叠部分相比传统池化方法有更好效果能够降低模型的过拟合风险。一些新的数据增强方法。
网络结构 输入层Input layer
输入层的输入是 224x224x3 的图片即 224x224 的彩色图片其中 3 通道分别为 RGB 三个通道。
卷积层C1
卷积11x11–ReLU–局部响应归一化LRN–最大池化
卷积11x11卷积核大小为 11x11步长为 4输出通道数为 96即输出为 55x55x96 的特征图分为两组每组为 55x55x48分别位于单个 GPU 上。
ReLUReLU 激活函数即 f ( x ) m a x ( 0 , x ) f(x)max(0,x) f(x)max(0,x)。
局部响应归一化LRN b x , y i a x , y i / ( k α ∑ j m a x ( 0 , i − n / 2 ) m i n ( N − 1 , i n / 2 ) ( a x , y j ) 2 ) β b_{x,y}^ia_{x,y}^i/\left(k\alpha\sum_{jmax(0,i-n/2)}^{min(N-1,in/2)}(a_{x,y}^j)^2\right)^\beta bx,yiax,yi/ kαjmax(0,i−n/2)∑min(N−1,in/2)(ax,yj)2 β
其中 a x , y i a_{x,y}^i ax,yi 表示第 i i i 个通道的第 ( x , y ) (x,y) (x,y) 个像素点的输出 N N N 表示总的通道数 n n n 表示归一化的范围 k k k、 α \alpha α、 β \beta β、 n n n 是超参数本文中取 k 2 k2 k2、 α 1 0 − 4 \alpha10^{-4} α10−4、 β 0.75 \beta0.75 β0.75、 n 5 n5 n5。
最大池化池化窗口大小为 3x3步长为 2每组输出为 27x27x48。
卷积层C2
卷积5x5–ReLU–局部响应归一化LRN–最大池化
卷积5x5卷积核大小为 5x5步长为 1padding 为 2每组输出通道数为 128即每组输出为 27x27x128 的特征图。
ReLUReLU 激活函数即 f ( x ) m a x ( 0 , x ) f(x)max(0,x) f(x)max(0,x)。
局部响应归一化LRN k 2 k2 k2、 α 1 0 − 4 \alpha10^{-4} α10−4、 β 0.75 \beta0.75 β0.75、 n 5 n5 n5。
最大池化池化窗口大小为 3x3步长为 2每组输出为 13x13x128。
卷积层C3
卷积3x3–ReLU
卷积3x3卷积核大小为 3x3步长为 1padding 为 1每组输出通道数为 192即每组输出为 13x13x192 的特征图。
ReLUReLU 激活函数即 f ( x ) m a x ( 0 , x ) f(x)max(0,x) f(x)max(0,x)。
卷积层C4
卷积3x3–ReLU
卷积3x3卷积核大小为 3x3步长为 1padding 为 1每组输出通道数为 192即每组输出为 13x13x192 的特征图。
ReLUReLU 激活函数即 f ( x ) m a x ( 0 , x ) f(x)max(0,x) f(x)max(0,x)。
卷积层C5
卷积3x3–ReLU–最大池化
卷积3x3卷积核大小为 3x3步长为 1padding 为 1每组输出通道数为 128即每组输出为 13x13x128 的特征图。
ReLUReLU 激活函数即 f ( x ) m a x ( 0 , x ) f(x)max(0,x) f(x)max(0,x)。
最大池化池化窗口大小为 3x3步长为 2每组输出为 6x6x128。
全连接层FC6
全连接卷积–ReLU–Dropout
全连接卷积输入为 6x6x256使用 4096 个 6×6×256 的卷积核进行卷积效果等同于全连接即输出为 1x1x4096。
ReLUReLU 激活函数即 f ( x ) m a x ( 0 , x ) f(x)max(0,x) f(x)max(0,x)。
Dropout在训练过程中随机将一些神经元的输出置为 0。
全连接层FC7
全连接卷积–ReLU–Dropout
全连接卷积输入为 1x1x4096输出也为 1x1x4096。
ReLUReLU 激活函数即 f ( x ) m a x ( 0 , x ) f(x)max(0,x) f(x)max(0,x)。
Dropout在训练过程中随机将一些神经元的输出置为 0。
输出层Output layer
全连接卷积–Softmax
全连接卷积输入为 1x1x4096输出为 1x1x1000。
Softmax将输出转化为概率分布。
