网站快速优化排名免费,网站建设电商学堂,做设计图任务的网站,做配送平台网站多少钱一、激活函数的特征
非线性#xff0c;激活函数必须是非线性函数。可微性#xff0c;训练网络模型时#xff0c;基于梯度的模型最优化方法要求激活函数必须是可导的。单调性#xff0c;单调递增或单调递减#xff0c;单调函数保证模型的简单。隐藏层一般需要使用激活函数…一、激活函数的特征
非线性激活函数必须是非线性函数。可微性训练网络模型时基于梯度的模型最优化方法要求激活函数必须是可导的。单调性单调递增或单调递减单调函数保证模型的简单。隐藏层一般需要使用激活函数已引入非线性输入层不需要。输出层如果是回归问题也是不需要的如果是多分类问题使用softmax函数将输出转化为概率分布如果是二分类问题可以使用sigmoid函数。
二、常见的激活函数 sigmoid函数 sigmoid激活函数 f ( x ) 1 1 e − x f(x)\frac{1}{1e^{-x}} f(x)1e−x1其导数为 f ′ ( x ) f ( x ) ( 1 − f ( x ) ) f(x)f(x)(1-f(x)) f′(x)f(x)(1−f(x))导数的取值范围[0, 1/4]sigmoid在使用反向传播来训练神经网络时会产生梯度消失的问题另外sigmoid处理后的输出数据是一个非负值在反向传播过程中会增加梯度的不稳定性。 tanh函数 tanh激活函数 f ( x ) e x − e − x e x e − x f(x)\frac{e^x-e^{-x}}{e^xe^{-x}} f(x)exe−xex−e−x其导数为 f ′ ( x ) 1 − f ( x ) 2 f(x)1-f(x)^2 f′(x)1−f(x)2导数的取值范围为[0, 1]反向传播过程中衰减速度比sigmoid要慢经过tanh激活函数处理后的输出均值约为0这相当于做了归一化所以tanh比sigmoid具有更稳定的梯度但是依然无法避免梯度消失的问题。 近似生物神经元的激活函数 如ReLUsoftplus等还有Leaky ReLUELUSoftmax等。
三、常见的神经网络模型
神经网络类型主要特点典型应用场景前馈神经网络信息单向流动无反馈循环层级结构清晰常用于分类和回归问题图像分类、文本分类、回归预测反馈神经网络RNN信息可以在网络中循环传播具有记忆能力适用于序列数据自然语言处理机器翻译、情感分析、语音识别、时间序列预测卷积神经网络CNN利用卷积核提取局部特征适用于图像、视频等数据图像分类、目标检测、图像分割循环神经网络变种LSTM、GRU改进RNN解决了长期依赖问题更好地处理长序列数据自然语言处理、语音识别生成对抗网络GAN由生成器和判别器组成通过对抗学习生成新的数据图像生成、数据增强图神经网络GNN处理图结构数据适用于社交网络、分子结构等社交网络分析、药物发现
