唐山网站建设费用,网站title优化,在哪里建网站免费,鞍山站目录RNN结构与原理1.模型总览2.反向传播LSTM结构与原理1.模型总览2.如何解决RNN梯度消失/爆炸问题#xff1f;GRU结构及原理1.模型总览LSTM与GRU的区别RNN结构与原理
1.模型总览 上图是RNN的展开结构图#xff0c;由输入层、隐藏层和输出层组成。当前时间步t 的隐藏状态hth_…
目录RNN结构与原理1.模型总览2.反向传播LSTM结构与原理1.模型总览2.如何解决RNN梯度消失/爆炸问题GRU结构及原理1.模型总览LSTM与GRU的区别RNN结构与原理
1.模型总览 上图是RNN的展开结构图由输入层、隐藏层和输出层组成。当前时间步t 的隐藏状态hth_tht 将参与计算下一时间步t1的隐藏状态ht1h_{t1}ht1。hth_tht 还将送入全连接输出层 用于计算当前时间步的输出OtO_tOt。
隐藏层 激活函数σ一般选择tanh 输出层 这里的激活函数σ一般选择sigmoid 预测层 损失函数 损失是关于预测输出y的函数。
2.反向传播
RNN反向传播需要计算U,W,V等权重的梯度以计算W的为例 根据上面的公式对W求偏导有如下结果。 重点是求h(T)h^{(T)}h(T)对h(t)h^{(t)}h(t)的偏导: 所以W的梯度表达如下 其中tanh′(z(k))diag(1−z(k))2)1tanh(z^{(k)})diag(1-z^{(k)})^2)1tanh′(z(k))diag(1−z(k))2)1随着梯度的传到如果W的主特征小于1梯度会消失如果大于1梯度则会爆炸。因此为解决上述问题其改进版本LSTM和GRU等变体应运而生。
LSTM结构与原理
1.模型总览 长短期记忆(Long short-term memory LSTM) 是一种特殊结构的RNN主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说就是相比于普通的RNNLSTM能够在更长的序列中有更好的表现。能够解决在RNN网络中梯度衰减的问题。 RNN 会受到短时记忆的影响。如果一条序列足够长那它们将很难将信息从较早的时间步传送到后面的时间步。 因此如果你正在尝试处理一段文本进行预测RNN 可能从一开始就会遗漏重要信息。 在反向传播期间RNN 会面临梯度消失的问题。 梯度是用于更新神经网络的权重值消失的梯度问题是当梯度随着时间的推移传播时梯度下降如果梯度值变得非常小就不会继续学习。 LSTM核心是以下三个门 遗忘门
输入门 细胞状态
输出门 预测层
2.如何解决RNN梯度消失/爆炸问题
RNN梯度消失/爆炸问题源自于在求导时出现连乘这导致在序列较长的时候梯度趋近于0或无穷而LSTM求导主要是针对细胞状态求导涉及矩阵点积的偏导知识 因此有 其实这里面只ft对这个偏导起作用即遗忘门。 正是由于ft可训练每一步的C(k)C^{(k)}C(k)对C(k−1)C^{(k-1)}C(k−1)的偏导可以自主学习选择在[0,1]或[1,∞]所以整体的连城结果不会趋于0也不会趋于无穷缓解了梯度消失/爆炸问题。
GRU结构及原理
1.模型总览 门控循环神经网络gated recurrent neural network 是为了更好地捕捉时序数据中间隔较大的依赖关系循环神经网络的隐含层变量梯度可能出现消失或爆炸虽然梯度裁剪可以应对梯度爆炸但是无法解决梯度消失的问题。GRU和LSTM一样是为了解决长期记忆和反向传播中的梯度等问题提出来的。 与LSTM内部中的三个门不同GRU内部只有两个门重置门和更新门。 更新门 重置门 当前记忆内容 当前时间步最终记忆 更新门帮助模型决定到底要将多少过去的信息传递到未来或到底前一时间步和当前时间步的信息有多少是需要继续传递的。这一点非常强大因为模型能决定从过去复制所有的信息以减少梯度消失的风险。重置门主要决定了到底有多少过去的信息需要遗忘。
LSTM与GRU的区别
新的记忆都是根据之前状态及输入进行计算但是GRU中有一个重置门控制之前状态的进入量而在LSTM里没有类似门(其实输入门也有这个意思)产生新的状态方式不同LSTM有两个不同的门分别是遗忘门(forget gate)和输入门(input gate)而GRU只有一种更新门(update gate)LSTM对新产生的状态可以通过输出门(output gate)进行调节而GRU对输出无任何调节。GRU的优点是这是个更加简单的模型所以更容易创建一个更大的网络而且它只有两个门在计算性能上也运行得更快然后它可以扩大模型的规模。LSTM更加强大和灵活因为它有三个门而不是两个。
