电商平台站内推广有哪些,手机网站可以做商城吗,搭建平台高质量,网站分为长短记忆神经网络定义 长短记忆神经网络#xff08;Long-short term memory, LSTM#xff09;是一种特殊的RNN结构。该神经网络可以有效保留历史信息#xff0c;实现对文本的长期依赖信息进行学习。 关键问题#xff1a;控制长期状态信息 解决方法#xff1a;门控开关 门的… 长短记忆神经网络定义 长短记忆神经网络Long-short term memory, LSTM是一种特殊的RNN结构。该神经网络可以有效保留历史信息实现对文本的长期依赖信息进行学习。 关键问题控制长期状态信息 解决方法门控开关 门的定义使用门Gate实现对图1中开关的控制。所谓的门即全连接层的一个神经元如图2所示。门的激活有两种形式sigmodsigmodsigmod和tanhtanhtanh 门控实现LSTM网络由输入门(inputgate)(input \ gate)(input gate)、遗忘门(forgetgate)(forget \ gate)(forget gate)、输出门(outputgate)(output \ gate)(output gate)和一个记忆单元(cell)(cell)(cell)来实现历史信息的更新和保留如图3所示。 门限开关控制 遗忘门ftf_tft决定保留多少上一时刻单元状态信息ct−1c_{t - 1}ct−1到当前时刻的记忆单元ctc_{t}ct中。 ftsigmoid(Wf⋅[at−1,xt]bf).{f_t} sigmoid\left( {{W_f} \cdot \left[ {{a_{t - 1}},{x_t}} \right] {b_f}} \right).ftsigmoid(Wf⋅[at−1,xt]bf). 输入门iti_tit决定保留多少当前时刻的输入信息xtx_txt到当前时刻的记忆单元ctc_{t}ct中。 itsigmoid(Wi⋅[at−1,xt]bi).{i_t} sigmoid\left( {{W_i} \cdot \left[ {{a_{t - 1}},{x_t}} \right] {b_i}} \right).itsigmoid(Wi⋅[at−1,xt]bi). 输出门ot{o_{t}}ot决定控制多少当前时刻的记忆单元ctc_{t}ct的输出值ot{o_t}ot。 otsigmoid(Wo⋅[at−1,xt]bo).{o_t} sigmoid\left( {{W_o} \cdot \left[ {{a_{t - 1}},{x_t}} \right] {b_o}} \right).otsigmoid(Wo⋅[at−1,xt]bo). 状态更新 当前时刻cellcellcell候选状态值cin{c_{in}}cin中间状态 cintanh(Wc⋅[at−1,xt]bc).{c_{in}} \tanh \left( {{W_c} \cdot \left[ {{a_{t - 1}},{x_t}} \right] {b_c}} \right).cintanh(Wc⋅[at−1,xt]bc). 当前时刻长期状态值ct{c_t}ct更新 ctft⋅ct−1it⋅cin.{c_t} {f_t} \cdot {c_{t-1}} {i_t} \cdot {c_{in}}.ctft⋅ct−1it⋅cin. 当前时刻输出值 当前时刻LSTM单元的输出值at{a_{t}}at。 atot⋅tanh(ct).{a_t} {o_t} \cdot \tanh \left( {{c_t}} \right).atot⋅tanh(ct).
