1.ACMIX 卷积与注意力融合

论文地址：https://arxiv.org/pdf/2111.14556.pdf

        为了实现卷积与注意力的融合，我们让特征图经过两个路径，一个路径经过卷积，另外一个路径经过Transformer，但是，现在有一个问题，卷积路径比较快，Transformer比较慢。因此，我们让Q,K,V通过1*1的卷积得到，同时使用窗口注意力，同时将3*3的卷积分解为1*1的卷积，从而共享参数。

        

        如下图所示，对于卷积，stage1用1*1的卷积代替3*3的卷积，得到不同位置的特征，stage2再利用类卷积操作进行偏移，实现3*3卷积的效果；对于自注意力机制，首先使用1^1的卷积得到q,k,v，然后再进行自注意力计算。然后进行组合，共享1*1的卷积，然后分别走卷积和自注意力。 

代码详解：

 难点：窗口注意力的实现

        我们在