网站建设知名,女的做公关到底是干嘛的,Add-ons wordpress,页面设计大赛1.ACMIX 卷积与注意力融合
论文地址：https://arxiv.org/pdf/2111.14556.pdf 为了实现卷积与注意力的融合，我们让特征图经过两个路径，一个路径经过卷积，另外一个路径经过Transformer，但是，现在有一个问题，卷积路径比较快，Transformer比较慢。因此，我们让Q,K,V通过1*1的…1.ACMIX 卷积与注意力融合
论文地址：https://arxiv.org/pdf/2111.14556.pdf 为了实现卷积与注意力的融合，我们让特征图经过两个路径，一个路径经过卷积，另外一个路径经过Transformer，但是，现在有一个问题，卷积路径比较快，Transformer比较慢。因此，我们让Q,K,V通过1*1的卷积得到，同时使用窗口注意力，同时将3*3的卷积分解为1*1的卷积，从而共享参数。 如下图所示，对于卷积，stage1用1*1的卷积代替3*3的卷积，得到不同位置的特征，stage2再利用类卷积操作进行偏移，实现3*3卷积的效果；对于自注意力机制，首先使用1^1的卷积得到q,k,v，然后再进行自注意力计算。然后进行组合，共享1*1的卷积，然后分别走卷积和自注意力。 代码详解：
难点：窗口注意力的实现
我们在上文提到，自注意了机制是按照窗口进行计算的，具体
