泰州网站模板,欧洲网站设计,腰肌劳损的自我治疗和恢复的方法有什么?,上海的建设网站1.自注意力#xff1a;
①在深度学习中#xff0c;经常使用卷积神经网络或者循环神经网络对序列进行编码
②对于key,value和query#xff0c;自注意力有一套自己的选法#xff0c;因为key#xff0c;value和query的值来自同一组输入。因此被称为自注意力或内部注意力
2…1.自注意力
①在深度学习中经常使用卷积神经网络或者循环神经网络对序列进行编码
②对于key,value和query自注意力有一套自己的选法因为keyvalue和query的值来自同一组输入。因此被称为自注意力或内部注意力
2.自注意力介绍 ①给定序列是一个长为n的序列每个xi是一个长为d的向量。
②自注意力xi同时作为key,value,query。来对序列抽取特征。
③给定一个序列对序列的每个元素进行输出。每个查询都会关注所有的键-值对并生成一个注意力输出。
④自注意力机制xi是key,value,query都来自本身
3.自注意力和CNNRNN相比 ①CNN,RNN,自注意力都可以用来处理序列。
②CNN处理一个序列给定一个序列将其看作是一个一维的输入处理图片时图片有高和宽每个像素有channel数也就是特征数。经过一个1d卷积只有宽没有高之后每个元素的特征看作是channel数处理文本序列。
③k窗口大小看到的是长度k.
n:长度
d:dimension每个x的维度
④并行度GPU并行单元并行度高计算速度快。
⑤最长路径对于最长的序列前面时刻的信息通过神经元传递到后面时刻。
⑥卷积神经网络和自注意力都有并行计算的优势而且自注意力的最长路径最短。但是自注意力的复杂度是序列长度n的2次方计算起来慢。
4.位置编码
①和CNN/RNN不同自注意力并没有记录位置信息。
ⅠCNN中也有记录位置信息的从输出反推到输入的所在窗口的位置窗口大小就是位置信息
ⅡRNN本身是序列相关的通过逐个的重复处理词元。
Ⅲ自注意力来说输入的位置打乱输出位置会变化但是每个输出的内容不变。
Ⅳ纯自注意力信息做模型没有位置信息出现问题通过加入位置编码来获得位置信息。 Ⅰ位置编码不是把位置信息加入模型一旦位置信息加入模型出现问题。CNN需要看成一个长序列RNN降低模型的并行度
ⅡP中的每个元素根据对应的X中元素的位置不同而不同
③P的元素计算如下 对于P的每一列奇数列是一个cos函数偶数列是一个sin函数不同的列的周期不一样。
5.位置编码矩阵 ①X是横坐标表示P矩阵的行数
②不同颜色代表不同的列
③在X轴任意一点表示P矩阵x行j列的元素值
④四条曲线6sin函数。曲线7cos函数曲线8:sin函数。曲线9:cos函数
⑤P矩阵同一行每个列元素是不同的。对于输入序列(XP自编码输入)来讲。每个dimension的值是不同的。同样的对于一个输入序列不同的样本加的值也是不同的
⑥P实际上是对每一个样本(row)每一个维度(dimension)添加一点不一样的值使得模型能够分辨细微差别作为位置信息。
⑦改进之前位置信息放进模型或者将位置信息与数据分开然后拼接。位置编码是直接将位置信息加入到了数据这样做的好处是不改进模型和数据大小缺点是需要模型对于P元素的细微信息进行辨认取决于模型能否有效的使用P中的位置信息。
6.位置矩阵编码可以认为和计算机的二进制相似
①首先位置编码是实数是在1和-1之间进行实数变化所以能编码的范围更广。可以在任意多的维度上进行编码
②位置编码sin和cos周期函数具有周期性。 ①上图是一个热度图X表示特征Y表示样本
②每一行的位置信息进行编码将第i个样本用一个长为d的向量编码。
③核心思想对序列的第i个样本给定长为d的独一无二的位置信息。然后加入到数据中作为自编码输入。使得模型能够看到数据的位置信息。
7.相对位置信息 为什么要使用sin函数和cos函数
编码是一个相对位置信息位置位于i σ处的位置编码可以线性投影位置i处的位置编码来表示。与i无关和相对σ有关。 ①投影矩阵和序列中的位置i是无关的但是和 j 是相关的和 dimension 的信息是相关的意味着在一个序列中假设一个词出现在另外一个词两个或者三个位置的时候不管这对词出现在序列中的什么位置对于位置信息来讲都是可以通过一个同样的线性变换查找出来的
②相对来讲这样编码的好处在于模型能够更加关注相对的位置信息而不是关注一个词出现在一个句子中的绝对位置
【总结】
1、自注意力池化层将 xi 当作 keyvaluequery 来对序列抽取特征
2、完全并行、最长序列为1、但对长序列计算复杂度高
①可以完全并行和CNN是一样的所以计算效率比较高
②最长序列为1对于任何一个输出都能够看到整个序列信息所以这也是为什么当处理的文本比较大、序列比较长的时候通常会用注意力和自注意力
③但是问题是对长序列的计算复杂度比较高这也是一大痛点
3、位置编码在输入中加入位置信息使得自注意力能够记忆位置信息
①类似于计算机的数字编码对每个样本给定一个长为 d 的编码
②编码使用的是 sin 函数或者是 cos 函数使得它对于序列中两个固定距离的位置编码不管它们处于序列中的哪个位置他们的编码信息都能够通过一个线性变换进行转换。
