企业网站建设的意义和效果,wordpress3.1,电子商务网站建设的基本流程,吴忠市建设局官方网站史上最全Transformer面试题
Transformer为何使用多头注意力机制#xff1f;#xff08;为什么不使用一个头#xff09;Transformer为什么Q和K使用不同的权重矩阵生成#xff0c;为何不能使用同一个值进行自身的点乘#xff1f; #xff08;注意和第一个问题的区别#…史上最全Transformer面试题
Transformer为何使用多头注意力机制为什么不使用一个头Transformer为什么Q和K使用不同的权重矩阵生成为何不能使用同一个值进行自身的点乘 注意和第一个问题的区别Transformer计算attention的时候为何选择点乘而不是加法两者计算复杂度和效果上有什么区别为什么在进行softmax之前需要对attention进行scaled为什么除以dk的平方根并使用公式推导进行讲解在计算attention score的时候如何对padding做mask操作为什么在进行多头注意力的时候需要对每个head进行降维可以参考上面一个问题大概讲一下Transformer的Encoder模块为何在获取输入词向量之后需要对矩阵乘以embedding size的开方意义是什么简单介绍一下Transformer的位置编码有什么意义和优缺点你还了解哪些关于位置编码的技术各自的优缺点是什么简单讲一下Transformer中的残差结构以及意义。为什么transformer块使用LayerNorm而不是BatchNormLayerNorm 在Transformer的位置是哪里简答讲一下BatchNorm技术以及它的优缺点。简单描述一下Transformer中的前馈神经网络使用了什么激活函数相关优缺点Encoder端和Decoder端是如何进行交互的在这里可以问一下关于seq2seq的attention知识Decoder阶段的多头自注意力和encoder的多头自注意力有什么区别为什么需要decoder自注意力需要进行 sequence mask)Transformer的并行化提现在哪个地方Decoder端可以做并行化吗简单描述一下wordpiece model 和 byte pair encoding有实际应用过吗Transformer训练的时候学习率是如何设定的Dropout是如何设定的位置在哪里Dropout 在测试的需要有什么需要注意的吗引申一个关于bert问题bert的mask为何不学习transformer在attention处进行屏蔽score的技巧
