中国机械加工网站官网,网站 二级域名,怎么做网站做站点,免费网站建设设计制作公司—— 25.2.23 ReLU广泛应用于卷积神经网络#xff08;CNN#xff09;和全连接网络#xff0c;尤其在图像分类#xff08;如ImageNet#xff09;、语音识别等领域表现优异。其高效性和非线性特性使其成为深度学习默认激活函数的首选
一、定义与数学表达式
ReLU#xff0… —— 25.2.23 ReLU广泛应用于卷积神经网络CNN和全连接网络尤其在图像分类如ImageNet、语音识别等领域表现优异。其高效性和非线性特性使其成为深度学习默认激活函数的首选
一、定义与数学表达式
ReLURectified Linear Unit修正线性单元是一种分段线性激活函数
其数学表达式为ReLU(x)max(0,x)
即当输入 x 大于 0 时输出为 x当 x≤0 时输出为 0。 二、核心特点
非线性特性通过引入分段线性特性ReLU为神经网络引入非线性使其能拟合复杂函数。
计算高效仅通过阈值判断x0即可完成计算避免了指数运算如Sigmoid、Tanh显著提升速度。
缓解梯度消失在 x0 时梯度恒为 1反向传播时梯度不会饱和加速收敛。
稀疏激活性负输入时输出为 0导致部分神经元“休眠”减少参数依赖和过拟合风险。 三、优点
简单高效实现和计算成本低适合深度网络。
收敛速度快相比Sigmoid/TanhReLU在训练中梯度更稳定收敛更快。
非零中心性输出范围为 [0,∞)虽非严格零中心但简化了优化过程 四、局限性
Dead ReLU问题若神经元输入长期为负梯度恒为 0导致权重无法更新神经元“死亡”。
非零中心性输出偏向非负值可能影响梯度下降效率。
对初始化敏感若学习率过高负输入区域可能使神经元永久失效。 五、变体
Leaky ReLU允许负输入时输出 αxα为小常数如0.01。
PReLUParametric ReLU将 α 设为可学习参数动态调整负区斜率。
ELUExponential Linear Unit负输入时输出 α(ex−1)使输出均值接近零。
Swish自门控激活函数结合ReLU和Sigmoid特性平滑且无上界。 六、代码示例
1.通过 nn.ReLU() 作为网络层
nn.ReLU() PyTorch 中的修正线性单元ReLU激活函数模块用于神经网络中引入非线性。其功能是将输入张量中所有负值置为 0保留正值不变
参数名称类型是否必填说明inplacebool否是否原地操作直接修改输入张量。默认值为 False此时会返回新张量。若设为 True则直接在原张量上操作。
import torch
import torch.nn as nn
import torch.optim as optim# 定义一个简单的网络包含两个线性层和 ReLU 激活
class Net(nn.Module):def __init__(self):super(Net, self).__init__()self.fc1 nn.Linear(784, 256) # 输入层784 → 256self.relu nn.ReLU() # ReLU 激活层self.fc2 nn.Linear(256, 10) # 输出层256 → 10如分类任务def forward(self, x):x self.relu(self.fc1(x)) # 在第一层后应用 ReLUx self.fc2(x)return x# 初始化网络、损失函数和优化器
model Net()
criterion nn.CrossEntropyLoss()
optimizer optim.SGD(model.parameters(), lr0.01)# 输入数据示例如 MNIST 图像形状为 [batch_size, 784]
input_data torch.randn(32, 784)# 前向传播
output model(input_data)
print(output.shape) # 输出形状: (32, 10) 2. 直接使用 torch.relu() 函数
torch.relu() PyTorch 中实现修正线性单元ReLU激活函数的函数
其数学表达式为ReLU(x)max(0,x)
参数名称类型是否必填说明inplacebool否是否原地修改输入张量。若为 True则直接修改输入张量以节省内存若为 False默认则返回新张量。
import torch# 示例输入
x torch.tensor([-1.0, 0.0, 1.0])# 应用 ReLU 函数非原地
y torch.relu(x)
print(y) # 输出: tensor([0., 0., 1.])# 应用 ReLU 函数原地
torch.relu_(x)
print(x) # 输出: tensor([0., 0., 1.])原始张量被修改[1,7](ref)。
