视频理解新篇章：Mamba模型的探索与应用

人工智能咨询培训老师叶梓转载标明出处

想要掌握如何将大模型的力量发挥到极致吗？叶老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具（限时免费）。

1小时实战课程，您将学习到如何轻松上手并有效利用 Llama Factory 来微调您的模型，以发挥其最大潜力。

CSDN教学平台录播地址：https://edu.csdn.net/course/detail/39987

更多分享，关注视频号：sphuYAMr0pGTk27

在计算机视觉领域，视频理解一直是一个核心研究方向，它要求算法能够捕捉视频中的时空动态以定位活动或推断其演变。随着深度学习技术的发展，研究者们探索了多种架构，如递归神经网络(RNN)、三维卷积神经网络(3D CNN)和Transformers，以期更好地理解视频内容。

一种名为状态空间模型(State Space Model, SSM)的新架构引起了研究者的关注，尤其是Mamba模型，它在长序列建模方面展现出了巨大的潜力。鉴于其在自然语言处理(NLP)领域的成功，研究者们开始探索Mamba模型在视频理解领域的应用前景。

由南京大学、上海人工智能实验室等机构的研究人员联合提出了将Mamba模型应用于视频理解的全面研究。

Mamba模型通过将时变参数引入状态空间模型，并提出了一种硬件感知算法，以实现高效的训练和推理。这种模型在处理长视频时展现出了良好的扩展性能，表明它可能是Transformers的一个有前景的替代方案。

图1在论文中展示了Video Mamba Suite的架构概览，这是一个由14个状态空间模型（SSM）模型/模块组成的套件，旨在处理12种不同的视频理解任务。该图反映了Mamba模型在视频建模中的四种不同角色：时间模型、时间模块、多模态交互网络和空间-时间模型。通过在13个主要数据集上进行广泛的实验，全面评估了Mamba在视频理解领域的潜力和效果，探索了其作为一种高效、高性能的视频处理替代方案的可能性。

Mamba在视频时序建模中的应用

研究者们探索了Mamba模型在视频时序任务中的应用，这些任务包括动作定位、动作分割、视频描述生成和动作预测。为了评估Mamba模型的性能，研究者们将其与基于Transformer的模型进行了比较。

在表3中，展示了在ActivityNet和YouCook2数据集上进行密集视频描述生成任务的结果。结果显示，采用DBM块的Mamba模型在多个评价指标上超越了基于变形Transformer的PDVC模型。具体来说，DBM块在平均精度均值（mAP）上达到了44.56，比PDVC模型的43.34高出1.22，表明Mamba模型在时序事件定位和字幕生成方面具有更强的性能。

在表4中，研究者们还展示了在视频段落字幕生成任务上的结果，Mamba模型同样展现了其在提取细粒度视觉信息以生成字幕方面的优越性。