做盒饭的网站,页面设计风格的主要内容,上海电子门户网站建设数据,有家装饰有限公司地址深度学习中常用的激活函数 1. Sigmoid函数2. Tanh函数3. ReLU函数4. LeakyReLU函数5. PReLU函数6. ELU函数#xff1a;7. GELU函数#xff1a; 深度学习中常用的激活函数有sigmoid、tanh、ReLU、LeakyReLU、PReLU等。
1. Sigmoid函数
Sigmoid函数公式为 f ( x ) 1 1 e −… 深度学习中常用的激活函数 1. Sigmoid函数2. Tanh函数3. ReLU函数4. LeakyReLU函数5. PReLU函数6. ELU函数7. GELU函数 深度学习中常用的激活函数有sigmoid、tanh、ReLU、LeakyReLU、PReLU等。
1. Sigmoid函数
Sigmoid函数公式为 f ( x ) 1 1 e − x f(x)\frac{1}{1e^{-x}} f(x)1e−x1它的输出值在[0,1]之间可以用来解决二元分类问题。它的主要特点是它是可导的并且输出值可以被解释为概率。但是如果输入值过大或过小会导致梯度消失问题对于较深的神经网络来说不太适用。
PyTorch的代码示例
import torch.nn.functional as Fclass Net(nn.Module):def __init__(self):super(Net, self).__init__()self.fc1 nn.Linear(10, 5)self.fc2 nn.Linear(5, 1)def forward(self, x):x F.sigmoid(self.fc1(x))x F.sigmoid(self.fc2(x))return x2. Tanh函数
Tanh函数公式为 f ( x ) e x − e − x e x e − x f(x)\frac{e^x-e^{-x}}{e^xe^{-x}} f(x)exe−xex−e−x它的输出值在[-1,1]之间可以用来解决回归问题。与sigmoid不同的是它的输出是以0为中心的因此幂次大的输入值仍然会导致梯度消失问题。
PyTorch的代码示例
import torch.nn.functional as Fclass Net(nn.Module):def __init__(self):super(Net, self).__init__()self.fc1 nn.Linear(10, 5)self.fc2 nn.Linear(5, 1)def forward(self, x):x F.tanh(self.fc1(x))x F.tanh(self.fc2(x))return x3. ReLU函数
ReLU函数公式为 f ( x ) m a x ( 0 , x ) f(x)max(0, x) f(x)max(0,x)它的输出值在[0,无穷)之间可以用来解决分类和回归问题。它有以下优点1解决了梯度消失问题2计算速度快。
PyTorch的代码示例
import torch.nn.functional as Fclass Net(nn.Module):def __init__(self):super(Net, self).__init__()self.fc1 nn.Linear(10, 5)self.fc2 nn.Linear(5, 1)def forward(self, x):x F.relu(self.fc1(x))x F.relu(self.fc2(x))return x4. LeakyReLU函数
LeakyReLU函数公式为 f ( x ) m a x ( 0.01 x , x ) f(x)max(0.01x, x) f(x)max(0.01x,x)它的输出值在(-无穷,无穷)之间是ReLU的改进版。在输入值为负数时它不是完全为0而是有一个小的斜率可以避免神经元死亡。
PyTorch的代码示例
import torch.nn.functional as Fclass Net(nn.Module):def __init__(self):super(Net, self).__init__()self.fc1 nn.Linear(10, 5)self.fc2 nn.Linear(5, 1)self.LeakyReLU nn.LeakyReLU(0.01)def forward(self, x):x self.LeakyReLU(self.fc1(x))x self.LeakyReLU(self.fc2(x))return x5. PReLU函数
PReLU函数公式为 f ( x ) { x , if x 0 α x , otherwise f(x) \begin{cases} x, \text{if $x 0$}\\ \alpha x, \text{otherwise} \end{cases} f(x){x,αx,if x0otherwise
其中 α \alpha α 是可学习的参数它的输出值在(-无穷,无穷)之间是LeakyReLU的改进版。与LeakyReLU不同的是 α \alpha α 不是固定的而是可以根据训练数据自适应调节。
PyTorch的代码示例
import torch.nn.functional as Fclass Net(nn.Module):def __init__(self):super(Net, self).__init__()self.fc1 nn.Linear(10, 5)self.fc2 nn.Linear(5, 1)self.PReLU nn.PReLU()def forward(self, x):x self.PReLU(self.fc1(x))x self.PReLU(self.fc2(x))return x6. ELU函数
ELU函数的数学公式为 f ( x ) { x , x 0 α ( e x − 1 ) , x ≤ 0 f(x)\begin{cases}x, x0\\\alpha(e^x-1), x\leq0\end{cases} f(x){x,α(ex−1),x0x≤0它是另一种解决ReLU“死亡”现象的函数通过引入一个指数函数来平滑负数区间。
以下是使用PyTorch实现ELU函数的代码示例
import torch.nn.functional as Fx torch.randn(2, 3)
y F.elu(x, alpha1.0)
print(y)深度学习中常用的激活函数有sigmoid、ReLU、LeakyReLU、ELU、SeLU等其中gelu是近年来提出的一种新的激活函数。
7. GELU函数
GELU (Gaussian Error Linear Units)函数是一种近年来提出的新型激活函数其原理是基于高斯误差函数的近似。其作用是在保持ReLU函数优点的同时减少其缺点。将输入的值 x x x通过高斯分布的累积分布函数CDF F ( x ) F(x) F(x)来获得激活函数的输出值。其数学表达式如下 g e l u ( x ) x ⋅ Φ ( x ) , 其中 Φ ( x ) 1 2 [ 1 e r f ( x 2 ) ] \mathrm{gelu}(x)x\cdot\Phi (x), \ \mathrm{其中}\Phi(x)\frac{1}{2}[1\mathrm{erf}(\frac{x}{\sqrt{2}})] gelu(x)x⋅Φ(x), 其中Φ(x)21[1erf(2 x)] 其中 Φ ( x ) \Phi(x) Φ(x)为高斯分布的累积分布函数。
GELU函数具有以下特点
可微性GELU函数可导可以使用反向传播算法训练神经网络。非线性与ReLU函数相似GELU函数具有非线性特点可以学习非线性函数。平滑性GELU函数在整个实数轴上都是连续可导的可以减少梯度消失和爆炸问题。计算效率高由于GELU函数采用了近似求解计算速度较ReLU函数更快。
由于高斯分布的概率密度函数PDF在均值处最大因此gelu在接近0的地方具有很好的非线性特性同时也有一定的平滑性能够一定程度上减少梯度消失问题提高模型的泛化能力。
PyTorch代码示例
import torch.nn as nnclass MyModel(nn.Module):def __init__(self):super(MyModel, self).__init__()self.fc nn.Linear(10, 20)self.act nn.GELU()def forward(self, x):x self.fc(x)x self.act(x)return xmodel MyModel()import torch
import torch.nn.functional as Fclass Net(torch.nn.Module):def __init__(self):super(Net, self).__init__()self.fc1 torch.nn.Linear(10, 20)self.fc2 torch.nn.Linear(20, 2)def forward(self, x):x F.gelu(self.fc1(x))x F.gelu(self.fc2(x))return x在上述示例代码中我们使用了PyTorch中的F.gelu函数实现了GELU激活函数对网络中的每个神经元进行激活。
