1.CA介绍

摘要：最近关于移动网络设计的研究已经证明了通道注意力（例如，挤压和激励注意力）对于提升模型性能的显着有效性，但它们通常忽略了位置信息，而位置信息对于生成空间选择性注意力图很重要。 在本文中，我们通过将位置信息嵌入到通道注意力中，提出了一种新颖的移动网络注意力机制，我们称之为“协调注意力”。 与通过 2D 全局池化将特征张量转换为单个特征向量的通道注意力不同，坐标注意力将通道注意力分解为两个 1D 特征编码过程，分别沿两个空间方向聚合特征。 通过这种方式，可以沿一个空间方向捕获远程依赖性，同时可以沿另一空间方向保留精确的位置信息。 然后将所得的特征图分别编码为一对方向感知和位置敏感的注意力图，这些注意力图可以互补地应用于输入特征图以增强感兴趣对象的表示。 我们的坐标注意力很简单，可以灵活地插入经典移动网络，例如 MobileNetV2、MobileNeXt 和 EfficientNet，几乎没有计算开销。 大量实验表明，我们的坐标注意力不仅有利于 ImageNet 分类，而且更有趣的是，在下游任务（例如对象检测和语义分割）中表现更好。

官方论文地址：https://arxiv.org/pdf/2103.02907

官方代码地址：