微信看视频打赏网站建设,html5 网站开发 适配,企业网站制作优化,茶庄网站模板问题一#xff1a; 深度学习中的损失函数和应用场景
回归任务#xff1a;
均方误差函数#xff08;MSE#xff09;适用于回归任务#xff0c;如预测房价、预测股票价格等。
import torch.nn as nn
loss_fn nn.MSELoss() 分类任务#xff1a;
交叉熵损失函数…问题一 深度学习中的损失函数和应用场景
回归任务
均方误差函数MSE适用于回归任务如预测房价、预测股票价格等。
import torch.nn as nn
loss_fn nn.MSELoss() 分类任务
交叉熵损失函数Cross-Entropy Loss适用于分类任务如图像分类、文本分类等。对于多分类问题该损失函数可与Softmax激活函数结合使用。
import torch.nn as nn
loss_fn nn.CrossEntropyLoss() 二分类任务
二元交叉熵损失函数Binary Cross-Entropy Loss适用于二分类问题如预测是否为垃圾邮件、预测股票涨跌等。对于二分类问题该损失函数可与Sigmoid激活函数结合使用。
import torch.nn as nn
loss_fn nn.BCELoss() 问题二 空洞卷积
灰色部分为卷积核权重
白色部分为空值为0
dilation rate空洞率
权重值的间隔为dilation rate - 1 例m 3, p 0, s 1时
m表示卷积核大小p 表示零填充大小zero-padding s 表示步长strided表示空洞率dilation
若d1 若d2 优点在不增加参数的情况下增大感受野适用于图片size较大或需要快速感受全局信息的情况。
通过设置不同的dilation rate捕获多尺度上下文信息适用于需要捕获图片的多层次的情况如语义分割等。 问题存在网格效应远距离点之间的信息可能不相关。 解决办法HDC
一、叠加卷积的 dilation rate 不能有大于1的公约数。如 [2, 4, 6] 则不是一个好的三层卷积依然会出现 gridding effect。解决网格效应
二、将 dilation rate 设计成锯齿状结构例如 [1, 2, 5, 1, 2, 5] 循环结构。同时捕获远近信息
三、满足 最常用 问题三 残差网络
反向传播路径太长训练难度增加 问题
若卷积后的结果与输入X的shape不同 则不能直接相加 当步长不为1图片大小发生变化 当通道数与输入通道不同图片通道数 发生变化
解决
使用一个1x1的卷积核来改变X的shape使得其能与卷积后的结果shape相匹配不知道^ ^ 残差模型VS等深卷积
