电商 做图 网站有哪些,个人域名备案需要多久,大庆免费网站建设公司,网站关键词优化怎么做的一、输入
输入一句话#xff1a;Hello CYZLAB the inspired world
每个单词为一个token
二、Embedding
这里的词向量维度为6#xff0c;矩阵的行数为token数#xff0c;列数是词向量的维度
这列是注释不算hello122694CYZLAB222372the222596inspired132440world431273
…一、输入
输入一句话Hello CYZLAB the inspired world
每个单词为一个token
二、Embedding
这里的词向量维度为6矩阵的行数为token数列数是词向量的维度
这列是注释不算hello122694CYZLAB222372the222596inspired132440world431273
token数X词向量维度
三、位置嵌入
与Embedding相同
四、Q、K、V Q、K、V的权重权重权重的行数要与词向量的维度相同列数任意
如果权重的权重的尺寸为词向量的维度X7
Q、K、V的尺寸token数X7上面我们自定义的列数
五、自注意力机制 每个词之间的关系Q*K^Ttoken数X token数 关系与V的加权和Q*K^T*Vtoken数X7
六、添加线性层
让自注意机制的结果与Embedding的联合的矩阵可以按位相加
线性层的权重尺寸7X词向量的维度
线性层的转换结果token数X词向量维度 七、add和归一化
尺寸token数X词向量维度
此后的尺寸都是这样的token数X词向量维度
