苏州网站设计服务,万户网络有限责任公司,wordpress英文模板下载地址,西安市住房和城乡建设局网站1. 机器学习中的常用函数
logistic函数#xff08;sigmoid函数#xff09;#xff1a;非线性激活函数#xff0c;将R区间映射到(0,1)区间 ReLU函数#xff1a;非线性激活函数#xff0c;简单可以写作max(0,x)#xff0c;在0处不可导#xff0c;但是可以人为定义其导数…1. 机器学习中的常用函数
logistic函数sigmoid函数非线性激活函数将R区间映射到(0,1)区间 ReLU函数非线性激活函数简单可以写作max(0,x)在0处不可导但是可以人为定义其导数。优点缓解了sigmoid函数梯度消失的问题单侧抑制符合生物神经元特征带来了稀疏性dropout缓解了过拟合。
缺点神经元死亡权重无法更新且不可逆转解决办法是设置较小的学习率。 softplus函数非线性激活函数可以看作ReLU函数的光滑近似该函数的导数为logistic函数 2. 线性和非线性的区别
线性函数一种线性映射在二维空间中是一条直线满足可加性和齐次性
非线性函数一种非线性映射在二维空间中不是一条直线曲线或折线通常不满足可加性和齐次性
