php网站开发培训班,怎么搞一个网站平台,网站制作推广电话,番禺网站开发公司激活函数映射——引入非线性性质
h #xff08;Σ(W * X)b#xff09;
yσ#xff08;h#xff09;
将h的值通过激活函数σ映射到一个特定的输出范围内的一个值#xff0c;通常是[0, 1]或[-1, 1] 1 Sigmoid激活函数
逻辑回归LR模型的激活函数
Sigmoid函数#xff0…激活函数映射——引入非线性性质
h Σ(W * X)b
yσh
将h的值通过激活函数σ映射到一个特定的输出范围内的一个值通常是[0, 1]或[-1, 1] 1 Sigmoid激活函数
逻辑回归LR模型的激活函数
Sigmoid函数Logistic函数将输入值映射到0和1之间的范围具有平滑的S形曲线。它在二元分类问题中常用因为它可以将输出解释为概率表示某个事件发生的概率。
在特征相差比较复杂或是相差不是特别大时效果比较好。
在深度学习中由于sigmoid存在梯度消失现象因此使用ReLU。
优点
平滑、易于求导。
缺点
计算量大反向传播求误差梯度时求导涉及除法梯度消失反向传播时很容易就会出现梯度消失的情况从而无法完成深层网络的训练。输出恒为正sigmoid函数的输出恒为正值不是以零为中心的这会导致权值更新时只能朝一个方向更新从而影响收敛速度。 2 Tanh激活函数
tanh 激活函数是sigmoid 函数的改进版是以零为中心的对称函数收敛速度快不容易出现 loss 值晃动但是无法解决梯度消失的问题。
Tanh函数将输入值映射到-1和1之间的范围也具有S形曲线。它在神经网络中广泛用于隐藏层可以使输出具有零中心化的性质有助于网络的训练。
2.1 运算 3 ReLU激活函数
ReLURectified Linear Unit又称修正线性单元。
通常指代以斜坡函数及其变种为代表的非线性函数。
将负数输入值置为零对正数输入值保持不变。它在深度神经网络中常用因为它具有线性部分和非线性部分有助于解决梯度消失问题。
3.1 斜坡函数(ReLU) 3.2 带泄露线性整流Leaky ReLU
在输入值为负的时候带泄露线性整流函数Leaky ReLU的梯度为一个常数而不是0。在输入值为正的时候带泄露线性整流函数和普通斜坡函数保持一致.
3.3 参数线性整流Parametric ReLU
在深度学习中如果设定为一个可通过反向传播算法Backpropagation学习的变量那么带泄露线性整流又被称为参数线性整流Parametric ReLU。
3.4 带泄露随机线性整流Randomized Leaky ReLU,RReLU
最早是在Kaggle全美数据科学大赛NDSB中被首先提出并使用的。相比于普通带泄露线性整流函数带泄露随机线性整流在负输入值段的函数梯度是一个取自连续性均匀分布概率模型的随机变量
3.5 噪声线性整流Noisy ReLU
噪声线性整流Noisy ReLU是修正线性单元在考虑高斯噪声的基础上进行改进的变种激活函数。对于神经元的输入值{\displaystyle x}噪声线性整流加上了一定程度的正态分布的不确定性使得预测值更加合理 其中随机变量Y~N(0,σ(x)). 当前噪声线性整流函数在受限玻尔兹曼机Restricted Boltzmann Machine在计算机图形学的应用中取得了比较好的成果。
3.6 ReUL优势
仿生物学原理
相关大脑方面的研究表明生物神经元的信息编码通常是比较分散及稀疏的。通常情况下大脑中在同一时间大概只有1%-4%的神经元处于活跃状态。
使用线性修正以及正则化regularization可以对机器神经网络中神经元的活跃度即输出为正值进行调试
相比之下逻辑函数在输入为0时达到即已经是半饱和的稳定状态不够符合实际生物学对模拟神经网络的期望。不过需要指出的是一般情况下在一个使用修正线性单元即线性整流的神经网络中大概有50%的神经元处于激活态。
更加有效率的梯度下降以及反向传播避免了梯度爆炸和梯度消失问题。简化计算过程没有了其他复杂激活函数中诸如指数函数的影响同时活跃度的分散性使得神经网络整体计算成本下降。
