手机营销型网站制作,北京h5网站建设报价,网页广告多少钱,app网站制作下载输出
我们会遇到不同的任务#xff0c;针对输出的不一样#xff0c;我们对任务进行划分
给多少输出多少 给一堆向量#xff0c;输出一个label#xff0c;比如说情感分析 还有一种任务是由机器决定的要输出多少个label#xff0c;seq2seq的任务就是这种#xff0c;翻译也…输出
我们会遇到不同的任务针对输出的不一样我们对任务进行划分
给多少输出多少 给一堆向量输出一个label比如说情感分析 还有一种任务是由机器决定的要输出多少个labelseq2seq的任务就是这种翻译也是 Sequence Labeling
如果要考虑时序信息每次可以选取前后固定长度的信息输入到fc层但是运算量很大需要的参数也很多
新的方法能考虑整个input sequence fc专注处理某一个位置的信息self-attention来考虑整个sequence的信息
模型细节 每个b都是考虑整个sequence来产生的
那么是如何产生的
我们需要找到一些相关的向量来帮助决定 a 1 a^1 a1用 α \alpha α来表示相关的重要性 那么怎么决定 α \alpha α呢有两种方式 用 a 1 a^1 a1分别与其他的向量分别进行计算相关性 一般而言也会跟自己计算相关性 然后接一个softmax 根据attention的分数也就是计算出来的每一个 α \alpha α值来抽取重要的信息 转换为矩阵运算形式 多头注意力
多头注意力是自注意力的一个进阶的版本
多头注意力的关键在于Q是有不同的多个进行询问的这样带来的好处与卷积也比较类似我们采用不同的Q来负责不同种类的相关性
计算方式上与自注意力机制比较类似每个计算过程中 只关注对应的比如计算1的时候只把1拿出来 位置编码
有时位置的距离也比较重要我们需要存储位置的信息 For Image
横着来看做一个vector众多vector作为输入输入进model
