来自作者Hengyi Wang在b站3D视觉工坊中对于该论文透彻的讲解,这里是相关重要部分的截屏。这篇博客的用途主要是自己做记录,其次分享给感兴趣的同学,最后谢谢作者大佬的认真讲解。
作者是按照这样的次序来介绍的:
首先从传统的三维重建讲起,再到SFM以及MVS,然后,讲到了DUSt3R的前身——CROCO,这是基于何凯明大神的MAE方法的一种图片匹配方法,是一个transformer架构,最后讲到了DUSt3R正是基于CroCo提出pointmap、confidence来做图片匹配、pose估计、稀疏重建,这是很重要的一步!可以说,在三维计算机视觉领域,相比于传统基于数学模型的三维重建,DUSt3R是一个数据驱动的、位姿估计与稀疏视角重建方法,很多工作在后续都应用了DUSt3R的这一简单粗暴的工作,并且实现了较好的效果!spann3r当然也是其中之一!!!
1.传统的三维重建
2.从CroCo到DUSt3R
3.Spann3R
Spann3R是对DUSt3R在稀疏重建方面的一种推广,DUSt3R是一个高效的重建方法,但是他只适用于稀疏数据,对于大量数据重建效率极低。Spann3R巧妙的利用DUSt3R为底座,以交叉注意力为工具,对大量的数据做了空间记忆的管理,完成了重建。并且这也是一个具有启发意义的工作!