本单位门户网站是什么意思,自学网站建设基本流程,网站功能建设描述书,荆门网站建设514885以下用形状来描述矩阵。对于向量#xff0c;为了方便理解#xff0c;也写成了类似(1,64)这种形状的表示形式#xff0c;这个你理解为64维的向量即可。下面讲的矩阵相乘都是默认的叉乘。 词嵌入矩阵形状#xff1a;以BERT_BASE为例#xff0c;我们知道其有12层Encoder…以下用形状来描述矩阵。对于向量为了方便理解也写成了类似(1,64)这种形状的表示形式这个你理解为64维的向量即可。下面讲的矩阵相乘都是默认的叉乘。 词嵌入矩阵形状以BERT_BASE为例我们知道其有12层Encoder12个Head。对于中文版的BERT_BASE来说词嵌入矩阵的形状为(21128,768)其中21128就是词典的大小768是词典中的每个字对应的维度。 需要注意的是这个维度其实可以是其他值只不过官方恰巧给的是76864×12(12个head每个head是64维)对于Transformer的Encoder来说这个维度是512这个时候512≠64×6(6个head每个head为64维)。一般来说Encoder层数越多该词向量维度也应该越大毕竟整个网络参数数量增大之后有能力学习更多维度的信息。 词向量维度然后我们知道每个位置x的输入其实一开始是一个序数通过这个序数便可以在上述词嵌入矩阵中查找到相应的词向量每个位置x的词向量维度为(1,768)。对于整个BERT序列来说其序列长度为512所以BERT序列的形状为(512,768)。 Q、K、V向量的维度这个是论文中固定的维度都是(1,64)。而由词向量x到Q、K、V向量是分别乘以一个权重矩阵(Wq、Wk、Wv)得到的所以权重矩阵的形状为(768,64)。上述都是一个head的情况扩展到12个head那么整个权重矩阵的形状就变成了(768,768)。这样词向量x和这个权重矩阵相乘后得到维度为(1,768)维度的向量然后经过切分在单个head上为(1,64)维度的向量。 注意力计算后的维度注意力的计算如下这里盗个图链接为 https://zhuanlan.zhihu.com/p/48508221 可知Q向量(1,64)和K的转置(64,1)相乘后其实就变成了一个数该数再和V向量进行数乘得到的z向量维度和V一样为(1,64)。多个head中的z向量进行拼接得到(1,768)维的Z’向量。Z’向量再乘以一个转换矩阵Wo(768,768)得到最终的Z向量(1,768)。 需要注意的是上述图中的Q、K、V向量均有两个最终得到两个z向量。并且这里公式没有考虑掩码的情况但是掩码并不影响矩阵的形状。 前馈神经网络(FFNN)的形状:前馈神经网络用一句话概括就是对于多头注意力的输出先进行线性变化然后经过激活函数之后再进行线性变换。前馈神经网络的维度为3072由于单个时刻多头注意力的输出维度为(1,768)第一个线性变换的矩阵形状为(768,3072)第二个线性变换矩阵的形状为(3072,768)。
