网站开发 公司,国内网站建设建设,菜单设计制作,服装设计公司背景资源地址Attention is all you need.pdf(0积分) - CSDN
第一遍阅读#xff08;Abstract Introduction Conclusion#xff09;
Abstract中强调Transformer摒弃了循环和卷积网络结构#xff0c;在English-to-German翻译任务中#xff0c;BLEU得分为28.4#xff0c; 在En…资源地址Attention is all you need.pdf(0积分) - CSDN
第一遍阅读Abstract Introduction Conclusion
Abstract中强调Transformer摒弃了循环和卷积网络结构在English-to-German翻译任务中BLEU得分为28.4 在English-to-French的翻译任务中的BLEU得分为41.0用8张GPU训练了3.5天与各文献中的best models相比这是非常小的训练成本。
Introduction中对RNN的一些工作做了总结它说RNN结构本身在序列长度变长时会产生限制虽然有些工作通过factorization tricks因式分解和conditional computation对其进行运算效率上的提高并且后者可以提高模型性能但是对于序列处理的最基本的局限性还是存在的。Attention机制已经在许多任务的序列建模和翻译任务中成为了重要的一部分并且在大多数情况下Attention机制都会与recurrent network一起使用。 然后作者说他们提出了一种抛弃recurrent结构完全使用Attention机制去描述input与output之间的全局关系。Transformer允许更大的并行度并且在8张P100的GPU上训练了25h后就在翻译质量上达到了SOTA。
Conclusion说Transformer将Encoder-Decoder中最常用的recurrent layers替换成了multi-headed self-attention多头自注意力模块。并且作者他们希望将Transformer推广到只要包括input与output特点的问题上去而不是仅仅局限于text文本所以将Transformer应用在图片、音视频中是他们展望的应有之意而不是说Transformer在无意中完成了CV和NLP的跨界大一统是作者他们原本就想这么做并且他们还想探索local, restricted attention mechanisms局部的、受限制的注意力机制让Generation更少一点sequential序列化也是他们的研究目标我理解这里应该是说让Transformer不是一个词一个词的串行预测而是可以多个词一起预测出来或者说不是语句化的串行生成而是跳跃式的段落篇章式生成
参考文章或视频资料【【计算机博物志】自然语言处理的“古往”和“今来”】 - bilibili
