Transformer模型中的注意力模块是其核心组成部分。虽然全局注意力机制具有很强的表达能力，但其高昂的计算成本限制了在各种场景中的应用。本文提出了一种新的注意力范式，称为“代理注意力”（Agent Attention），以在计算效率和表示能力之间取得平衡。代理注意力使用四元组(Q, A, K, V)，引入了一组额外的代理token A。在此框架中，代理token首先充当查询token Q的代理，从K和V中聚合信息，然后将信息回传给Q。通过设计较少数量的代理token，代理注意力比常用的Softmax注意力效率更高，同时保留了全局上下文建模的能力。此外，本文展示了代理注意力等价于广义线性注意力的形式，因此它无缝结合了Softmax注意力的强大能力和线性注意力的高效特性。实验结果表明，代理注意力在各种视觉Transformer和视觉任务中表现出色，特别是在高分辨率场景中，代理注意力显示出其线性注意力特性，显著加速生成过程并提升图像质量。代码已公开在Github上。

• 论文英文原名称: “Agent Attention: On the Integration of Softmax and Linear Attention”