企业网站推广计划,网站开发在线打开word,怎么看网站是否备案,互助网站开发1 ZFNet
1.1 模型介绍
ZFNet是由 M a t t h e w Matthew Matthew D . Z e i l e r D. Zeiler D.Zeiler和 R o b Rob Rob F e r g u s Fergus Fergus在AlexNet基础上提出的大型卷积网络#xff0c;在2013年ILSVRC图像分类竞赛中以11.19%的错误率获得冠军#xff08;实际…1 ZFNet
1.1 模型介绍
ZFNet是由 M a t t h e w Matthew Matthew D . Z e i l e r D. Zeiler D.Zeiler和 R o b Rob Rob F e r g u s Fergus Fergus在AlexNet基础上提出的大型卷积网络在2013年ILSVRC图像分类竞赛中以11.19%的错误率获得冠军实际上原ZFNet所在的队伍并不是真正的冠军原ZFNet以13.51%错误率排在第8真正的冠军是 C l a r i f a i Clarifai Clarifai这个队伍而 C l a r i f a i Clarifai Clarifai这个队伍所对应的一家初创公司的CEO又是 Z e i l e r Zeiler Zeiler而且 C l a r i f a i Clarifai Clarifai对ZFNet的改动比较小所以通常认为是ZFNet获得了冠军 [ 3 − 4 ] ^{[3-4]} [3−4]。ZFNet实际上是微调fine-tuning了的AlexNet并通过反卷积Deconvolution的方式可视化各层的输出特征图进一步解释了卷积操作在大型网络中效果显著的原因。
1.2 模型结构 图1 ZFNet网络结构图原始结构图与AlexNet风格结构图
如图4.4所示ZFNet与AlexNet类似都是由8层网络组成的卷积神经网络其中包含5层卷积层和3层全连接层。两个网络结构最大的不同在于ZFNet第一层卷积采用了 7 × 7 × 3 / 2 7\times7\times3/2 7×7×3/2的卷积核替代了AlexNet中第一层卷积核 11 × 11 × 3 / 4 11\times11\times3/4 11×11×3/4的卷积核。图4.5中ZFNet相比于AlexNet在第一层输出的特征图中包含更多中间频率的信息而AlexNet第一层输出的特征图大多是低频或高频的信息对中间频率特征的缺失导致后续网络层次如图4.5c能够学习到的特征不够细致而导致这个问题的根本原因在于AlexNet在第一层中采用的卷积核和步长过大。 图2 aZFNet第一层输出的特征图bAlexNet第一层输出的特征图cAlexNet第二层输出的特征图dZFNet第二层输出的特征图
表3 ZFNet网络参数配置
网络层输入尺寸核尺寸输出尺寸可训练参数量卷积层 C 1 C_1 C1 ∗ ^* ∗ 224 × 224 × 3 224\times224\times3 224×224×3 7 × 7 × 3 / 2 , 96 7\times7\times3/2,96 7×7×3/2,96 110 × 110 × 96 110\times110\times96 110×110×96 ( 7 × 7 × 3 1 ) × 96 (7\times7\times31)\times96 (7×7×31)×96下采样层 S m a x S_{max} Smax 110 × 110 × 96 110\times110\times96 110×110×96 3 × 3 / 2 3\times3/2 3×3/2 55 × 55 × 96 55\times55\times96 55×55×960卷积层 C 2 C_2 C2 ∗ ^* ∗ 55 × 55 × 96 55\times55\times96 55×55×96 5 × 5 × 96 / 2 , 256 5\times5\times96/2,256 5×5×96/2,256 26 × 26 × 256 26\times26\times256 26×26×256 ( 5 × 5 × 96 1 ) × 256 (5\times5\times961)\times256 (5×5×961)×256下采样层 S m a x S_{max} Smax 26 × 26 × 256 26\times26\times256 26×26×256 3 × 3 / 2 3\times3/2 3×3/2 13 × 13 × 256 13\times13\times256 13×13×2560卷积层 C 3 C_3 C3 13 × 13 × 256 13\times13\times256 13×13×256 3 × 3 × 256 / 1 , 384 3\times3\times256/1,384 3×3×256/1,384 13 × 13 × 384 13\times13\times384 13×13×384 ( 3 × 3 × 256 1 ) × 384 (3\times3\times2561)\times384 (3×3×2561)×384卷积层 C 4 C_4 C4 13 × 13 × 384 13\times13\times384 13×13×384 3 × 3 × 384 / 1 , 384 3\times3\times384/1,384 3×3×384/1,384 13 × 13 × 384 13\times13\times384 13×13×384 ( 3 × 3 × 384 1 ) × 384 (3\times3\times3841)\times384 (3×3×3841)×384卷积层 C 5 C_5 C5 13 × 13 × 384 13\times13\times384 13×13×384 3 × 3 × 384 / 1 , 256 3\times3\times384/1,256 3×3×384/1,256 13 × 13 × 256 13\times13\times256 13×13×256 ( 3 × 3 × 384 1 ) × 256 (3\times3\times3841)\times256 (3×3×3841)×256下采样层 S m a x S_{max} Smax 13 × 13 × 256 13\times13\times256 13×13×256 3 × 3 / 2 3\times3/2 3×3/2 6 × 6 × 256 6\times6\times256 6×6×2560全连接层 F 6 F_6 F6 6 × 6 × 256 6\times6\times256 6×6×256 9216 × 4096 9216\times4096 9216×4096 1 × 1 × 4096 1\times1\times4096 1×1×4096 ( 9216 1 ) × 4096 (92161)\times4096 (92161)×4096全连接层 F 7 F_7 F7 1 × 1 × 4096 1\times1\times4096 1×1×4096 4096 × 4096 4096\times4096 4096×4096 1 × 1 × 4096 1\times1\times4096 1×1×4096 ( 4096 1 ) × 4096 (40961)\times4096 (40961)×4096全连接层 F 8 F_8 F8 1 × 1 × 4096 1\times1\times4096 1×1×4096 4096 × 1000 4096\times1000 4096×1000 1 × 1 × 1000 1\times1\times1000 1×1×1000 ( 4096 1 ) × 1000 (40961)\times1000 (40961)×1000 卷积层 C 1 C_1 C1与AlexNet中的 C 1 C_1 C1有所不同采用 7 × 7 × 3 / 2 7\times7\times3/2 7×7×3/2的卷积核代替 11 × 11 × 3 / 4 11\times11\times3/4 11×11×3/4使第一层卷积输出的结果可以包含更多的中频率特征对后续网络层中多样化的特征组合提供更多选择有利于捕捉更细致的特征。 卷积层 C 2 C_2 C2采用了步长2的卷积核区别于AlexNet中 C 2 C_2 C2的卷积核步长所以输出的维度有所差异。 1.3 模型特性
ZFNet与AlexNet在结构上几乎相同此部分虽属于模型特性但准确地说应该是ZFNet原论文中可视化技术的贡献。
可视化技术揭露了激发模型中每层单独的特征图。可视化技术允许观察在训练阶段特征的演变过程且诊断出模型的潜在问题。可视化技术用到了多层解卷积网络即由特征激活返回到输入像素空间。可视化技术进行了分类器输出的敏感性分析即通过阻止部分输入图像来揭示那部分对于分类是重要的。可视化技术提供了一个非参数的不变性来展示来自训练集的哪一块激活哪个特征图不仅需要裁剪输入图片而且自上而下的投影来揭露来自每块的结构激活一个特征图。可视化技术依赖于解卷积操作即卷积操作的逆过程将特征映射到像素上。
