现在网站建设的技术,自适应网站平台,常州网站建设推广平台,深圳空间设计有限公司目录神经网络激活函数引入激活函数原因#xff1a;sigmoid激活函数tanh 激活函数ReLU 激活函数#xff08;最常用#xff09;SoftMax如何选择反向传播参数初始化方法优化方法正则化批量归一层网络模型调优的思路神经网络
简单的神经网络包括三层#xff1a;输入层#xf…
目录神经网络激活函数引入激活函数原因sigmoid激活函数tanh 激活函数ReLU 激活函数最常用SoftMax如何选择反向传播参数初始化方法优化方法正则化批量归一层网络模型调优的思路神经网络
简单的神经网络包括三层输入层隐藏层输出层。 其中隐藏层可以有很多层每一层也可以包含数量众多的的神经元。
激活函数
引入激活函数原因
激活函数用于对每层的输出数据进行变换, 进而为整个网络结构结构注入了非线性因素。此时, 神经网络就可以拟合各种曲线。如果不使用激活函数整个网络虽然看起来复杂其本质还相当于一种线性模型。
sigmoid激活函数
劣势 1.当输入 -6 或者 6 时sigmoid 激活函数图像的导数接近为 0此时网络参数将更新极其缓慢或者无法更新。 2.一般来说 sigmoid 网络在 5 层之内就会产生梯度消失现象。 3.该激活函数并不是以 0 为中心的所以在实践中这种激活函数使用的很少。 一般用于二分类输出层 tanh 激活函数
优与 Sigmoid 相比它是以 0 为中心的使得其收敛速度要比 Sigmoid 快减少迭代次数
劣当输入的值大概 -3 或者 3 时其导数近似 0。 一般用于隐藏层 ReLU 激活函数最常用
优 计算量较sigmoid小 Relu会使一部分神经元的输出为0这样就造成了网络的稀疏性并且减少了参数的相互依存关系缓解了过拟合问题的发生。
公式f(x) max(0, x)
函数图像 导数图像
SoftMax
用于多分类以概率形式展现出来
如何选择
隐藏层优先RELU 不使用sigmoid可以尝试tanh 输出层二分类sigmoid, 多分类softmax 回归identity
反向传播
算法通过链式求导的方法来计算神经网络中的各个权重参数的梯度从而使用梯度下降算法来更新网络参数。
参数初始化方法
全0 全1 固定值 正态分布 kaiming 初始化也叫做 HE 初始化. HE 初始化分为正态分布的 HE 初始化、均匀分布的 HE 初始化. xavier 初始化也叫做Glorot初始化。两种正态分布的 xavier 初始化、均匀分布 的xavier 初始化
优化方法
MomentumAdaGradRMSPropAdam
正则化
Dropout 层的使用减一部分梯度归0达到无法更新参数的目的用于控制网络复杂度以此达到正则化的目的
批量归一层 数据在经过 BN 层之后无论数据以前的分布是什么都会被归一化成均值为 β标准差为λ 的分布 torch.nn.BatchNorm2d(num_features, eps1e-05, momentum0.1, affineTrue) affine False 表示 γ1β0反之则表示 λ(γ) 和 β 要进行学习; BatchNorm2d 适用于输入的数据为 4D输入数据的形状 [N,C,H,W] N 表示批次C 代表通道数H 代表高度W 代表宽度 网络模型调优的思路
对输入数据进行标准化 调整优化方法 调整学习率 增加批量归一化层 增加网络层数、神经元个数 增加训练轮数 数据再清洗进行预处理 等等…
心得通过对神经网络的学习了解到了神经网络虽然功能强大但深度学习较机器学习来说特征可解释性弱
