百度不收录什么网站,营销型网站页面布局,抖音推广渠道有哪些,asp 茶叶网站模板网络搭建参考#xff1a;手撕 CNN 经典网络之 AlexNet#xff08;理论篇#xff09;-CSDN博客 在实际工程应用中#xff0c;构建并训练一个大规模的卷积神经网络是比较复杂的#xff0c;需要大量的数据以及高性能的硬件。如果通过训练好的典型网络稍加改进#xf…网络搭建参考手撕 CNN 经典网络之 AlexNet理论篇-CSDN博客 在实际工程应用中构建并训练一个大规模的卷积神经网络是比较复杂的需要大量的数据以及高性能的硬件。如果通过训练好的典型网络稍加改进用少量数据进行训练并加以应用
4.1 什么是迁移学习 TransferLearning把一个领域的知识迁移到另一个领域。基于共享参数的迁移学习研究如何找到源数据和目标数据的空间模型之间的共同参数或先验分布。通过修改一个通过完整训练的深度卷积神经网络模型最后几层连接层再使用针对特定问题而建立的小数据集进行训练使其能够适用于一个新的问题。很可惜我们因为不是正版所以暂时不演示迁移学习
4.2 AlexNet 该模型主要由卷积层、池化层和全连接层组成并引入了一些被广泛应用的特性和技巧。AlexNet包含一个输入层一个输出层一个卷积层3个下采样(池化)层2个全连接层。其中从输入层到卷积层1开始之后的每一层都被分成两个相同的结构进行计算因为AlexNet将计算平均分配到了两块GPU进行。具体的架构细节上网搜搜看就好。
4.3 基于AlexNet实现迁移学习 Matlab有自带的封装好的工具箱可以使用但是问题来了作为几年前免费版的使用者我的MATLAB不允许我进行下载这该怎么办花钱是不可能的用工具箱写一个得了,强化下理解。我们上面说过 AlexNet 有 8 层权重层包括 5 层卷积层和 3 层全连接层FC 层并引入了一些重要的创新包括激活函数、Dropout 正则化和重叠池化。它通过增加网络的深度和宽度结合 GPU 加速极大提升了 CNN 的能力。当我们训练好了类似的模型就可以对尾部的几层进行替换。 4.4 AlexNet的搭建
4.4.1 卷积层C1 该层的处理流程是卷积--ReLU--局部响应归一化LRN--池化。 卷积输入是227x227x3使用96个11x11x3的卷积核进行卷积padding0stride4根据公式(input_size 2 * padding - kernel_size) / stride 1(2272*0-11)/4155得到输出是55x55x96。 尝试使用LeNet的红绿灯数据进行训练但是量大怕GPU跑坏了所以尝试改进使用手写数字进行识别。 ReLU将卷积层输出的FeatureMap输入到ReLU函数中。 局部响应归一化局部响应归一化层简称LRN是在深度学习中提高准确度的技术方法。一般是在激活、池化后进行。LRN对局部神经元的活动创建竞争机制使得其中响应比较大的值变得相对更大并抑制其他反馈较小的神经元增强了模型的泛化能力。归一化的模型如下 a为归一化之前的神经元b为归一化之后的神经元N是卷积核的个数也就是生成的FeatureMap的个数kαβn是超参数论文中使用的值是k2n5α0.0001β0.75。 我们根据架构搭建出这个模型包括5层卷积层添加为3个全连接层添加了Softmax层和分类层 池化使用3x3stride2的池化单元进行最大池化操作max pooling。注意这里使用的是重叠池化即stride小于池化单元的边长。根据公式(552*0-3)/2127每组得到的输出为27x27x48。 4.4.2 卷积层C2 该层的处理流程是卷积--ReLU--局部响应归一化LRN--池化。
卷积两组输入均是27x27x48各组分别使用128个5x5x48的卷积核进行卷积padding2stride1根据公式(input_size 2 * padding - kernel_size) / stride 1(272*2-5)/1127得到每组输出是27x27x128。
ReLU将卷积层输出的FeatureMap输入到ReLU函数中。
局部响应归一化使用参数k2n5α0.0001β0.75进行归一化。每组输出仍然是27x27x128。
池化使用3x3stride2的池化单元进行最大池化操作max pooling。注意这里使用的是重叠池化即stride小于池化单元的边长。根据公式(272*0-3)/2113每组得到的输出为13x13x128。 4.4.3 卷积层C3 该层的处理流程是 卷积--ReLU
卷积输入是13x13x256使用384个3x3x256的卷积核进行卷积padding1stride1根据公式(input_size 2 * padding - kernel_size) / stride 1(132*1-3)/1113得到输出是13x13x384。
ReLU将卷积层输出的FeatureMap输入到ReLU函数中。将输出其分成两组每组FeatureMap大小是13x13x192分别位于单个GPU上。
4.4.4 卷积层C4 该层的处理流程是卷积--ReLU
卷积两组输入均是13x13x192各组分别使用192个3x3x192的卷积核进行卷积padding1stride1根据公式(input_size 2 * padding - kernel_size) / stride 1(132*1-3)/1113得到每组FeatureMap输出是13x13x192。
ReLU将卷积层输出的FeatureMap输入到ReLU函数中。
4.4.5 卷积层C5 该层的处理流程是卷积--ReLU--池化
卷积两组输入均是13x13x192各组分别使用128个3x3x192的卷积核进行卷积padding1stride1根据公式(input_size 2 * padding - kernel_size) / stride 1(132*1-3)/1113得到每组FeatureMap输出是13x13x128。
ReLU将卷积层输出的FeatureMap输入到ReLU函数中。
池化使用3x3stride2的池化单元进行最大池化操作max pooling。注意这里使用的是重叠池化即stride小于池化单元的边长。根据公式(132*0-3)/216每组得到的输出为6x6x128。
4.4.6 全连接层FC6 该层的流程为卷积全连接 --ReLU --Dropout 卷积
全连接输入为6×6×256使用4096个6×6×256的卷积核进行卷积由于卷积核尺寸与输入的尺寸完全相同即卷积核中的每个系数只与输入尺寸的一个像素值相乘一一对应根据公式(input_size 2 * padding - kernel_size) / stride 1(62*0-6)/111得到输出是1x1x4096。既有4096个神经元该层被称为全连接层。
ReLU这4096个神经元的运算结果通过ReLU激活函数中。
Dropout随机的断开全连接层某些神经元的连接通过不激活某些神经元的方式防止过拟合。4096个神经元也被均分到两块GPU上进行运算。
4.4.7 全连接层FC7
该层的流程为卷积全连接 --ReLU --Dropout
全连接输入为4096个神经元输出也是4096个神经元作者设定的。
ReLU这4096个神经元的运算结果通过ReLU激活函数中。
Dropout随机的断开全连接层某些神经元的连接通过不激活某些神经元的方式防止过拟合。
4096个神经元也被均分到两块GPU上进行运算。
4.4.8 输出层Output layer 该层的流程为卷积全连接 --Softmax
全连接输入为4096个神经元输出是1000个神经元。这1000个神经元即对应1000个检测类别。
Softmax这1000个神经元的运算结果通过Softmax函数中输出1000个类别对应的预测概率值。 设计出来的C1池化后出来的不太一样现在没有确定其影响 4.5 训练效果 训练的时候需要注意最后的全连接层是需要设我们需要的输出的 下面给出MATLAB代码
%% 步骤1加载交通灯数据样本
imds imageDatastore(Traffic Light Samples, ...IncludeSubfolders, true, ...LabelSource, foldernames);% 将数据集划分为 70% 训练集和 30% 验证集
[imdsTrain, imdsValidation] splitEachLabel(imds, 0.7);% 图像大小调整到 AlexNet 的输入尺寸
inputSize [227 227 3];
augimdsTrain augmentedImageDatastore(inputSize, imdsTrain, ...OutputSizeMode, resize);
augimdsValidation augmentedImageDatastore(inputSize, imdsValidation, ...OutputSizeMode, resize);%% 步骤2定义 AlexNet 风格的架构并加入局部响应归一化LRN
layers [imageInputLayer([227 227 3], Name, input, Normalization, rescale-zero-one) % 将输入归一化到 [0, 1]% 第一卷积层 局部响应归一化 ReLU 最大池化convolution2dLayer(11, 96, Stride, 4, Padding, same, Name, conv1)crossChannelNormalizationLayer(5, Name, lrn1) % LRN 层邻域深度为 5reluLayer(Name, relu1)maxPooling2dLayer(3, Stride, 2, Name, pool1)% 第二卷积层 局部响应归一化 ReLU 最大池化convolution2dLayer(5, 256, Padding, same, Name, conv2)crossChannelNormalizationLayer(5, Name, lrn2) % LRN 层reluLayer(Name, relu2)maxPooling2dLayer(3, Stride, 2, Name, pool2)% 第三卷积层 ReLUconvolution2dLayer(3, 384, Padding, same, Name, conv3)reluLayer(Name, relu3)% 第四卷积层 ReLUconvolution2dLayer(3, 384, Padding, same, Name, conv4)reluLayer(Name, relu4)% 第五卷积层 最大池化convolution2dLayer(3, 256, Padding, same, Name, conv5)reluLayer(Name, relu5)maxPooling2dLayer(3, Stride, 2, Name, pool5)% 全连接层fullyConnectedLayer(4096, Name, fc6)reluLayer(Name, relu6)dropoutLayer(0.5, Name, dropout1)fullyConnectedLayer(4096, Name, fc7)reluLayer(Name, relu7)dropoutLayer(0.5, Name, dropout2)fullyConnectedLayer(numel(categories(imdsTrain.Labels)), Name, fc8)softmaxLayer(Name, softmax)classificationLayer(Name, output)];%% 步骤3配置训练选项
options trainingOptions(sgdm, ...MiniBatchSize, 15, ...MaxEpochs, 5, ...InitialLearnRate, 0.001, ...LearnRateSchedule, piecewise, ...LearnRateDropFactor, 0.1, ...LearnRateDropPeriod, 20, ...Shuffle, every-epoch, ...ValidationData, augimdsValidation, ...ValidationFrequency, 3, ...Plots, training-progress, ...ExecutionEnvironment, auto, ...Verbose, true);%% 步骤4训练网络
net trainNetwork(augimdsTrain, layers, options);%% 步骤5测试与评估
YPredicted classify(net, augimdsValidation); % 使用网络对验证集进行预测
accuracy mean(YPredicted imdsValidation.Labels); % 计算分类准确率
disp([Validation Accuracy: , num2str(accuracy)]);当然这个结构有点庞大所以运行需要比较长的时间和硬件资源所以我们也可以进行删减主要的目的就是明白AlexNet的结构。
