💡💡💡本文属于原创独家改进: 稀疏重参数RIFormerBlock模型引入YOLOv7进行创新性
RIFormerBlock | 亲测在多个数据集实现涨点;
收录:
YOLOv7高阶自研专栏介绍:
http://t.csdnimg.cn/tYI0c
✨✨✨前沿最新计算机顶会复现
🚀🚀🚀YOLOv7自研创新结合,轻松搞定科研
🍉🍉🍉持续更新中,定期更新不同数据集涨点情况
1.RIFormer介绍
论文:https://arxiv.org/pdf/2304.05659.pdf
问题:Vision Transformer 已取得长足进步,token mixer,其优秀的建模能力已在各种视觉任务中被广泛证明,典型的 token mixer 为自注意力机制,推理耗时长,计算代价大。直接去除会导致模型结构先验不完整,从而带来显著的准确性下降。本文探索如何去掉 token mixer,并以 poolformer 为基准,探索在保证精度的同时