【3DGS文献阅读】Splatter Image: Ultra-Fast Single-View 3D Reconstruction

Splatter Image: Ultra-Fast Single-View 3D Reconstruction

1 背景
2 摘要
3 简介
4 相关工作
- 4.1 单视图的三维重建表示
- 4.2 使用点云进行三维重建
- 4.3 概率三维重建
5 方法
6 读文献记录

1 背景

标题：Splatter Image: Ultra-Fast Single-View 3D Reconstruction
溅射图像：超快速单视图三维重建
作者：Stanislaw Szymanowicz, Christian Rupprecht, Andrea Vedaldi
机构：Visual Geometry Group - University of Oxford
原文链接：https://arxiv.org/abs/2312.13150
官方网站：https://szymanowiczs.github.io/splatter-image

2 摘要

作者介绍了溅射图像，一种超高效的单目三维物体重建方法。
主要创新是它直接使用2D算子，将输入图像映射到每个像素的一个3D高斯中，由此产生的高斯分布具有图像的形式，即溅射图像。
并且进一步扩展了该方法，通过交叉视图注意将多幅图像作为输入，使用单个GPU进行训练，在每次迭代中，优化LPIPS等感知指标。
最后在几个合成的、真实的、多类别的和大规模的基准数据集上，在PSNR、LPIPS和其他指标方面取得了更好的结果。

感知损失LPIPS 表示两张图片之间的感知差异，数值越低越好
峰值信噪比PSNR 表示重建图像与原始图像的相似度，数值越高越好

3 简介

溅射图像的工作原理：使用image-to-image（I2I）的神经网络，预测每个输入图像像素的3D高斯分布。
在这里插入图片描述

输入：物体的图像
产生代表其所有侧面的相应高斯混合物作为：输出

溅射图像使用2D图像作为3D高斯分布的容器，存储每个像素对应的一个高斯分布。

高斯分布包括点的位置、协方差矩阵、不透明度、球谐函数等等

高斯分布主要位于相机到物体的光线上，但它们也可以被放置在光线之外，从而实现360°物体表示。

在图像中存储一组三维高斯分布的优点是将重建问题简化为学习I2I的神经网络，所以可以仅利用2D卷积来实现（作者使用的是U-net）。

模型可以在3D对象的标准基准上再单个GPU上训练，也可以在大型数据集上的两个GPU上进行分布式训练。
作者还扩展了溅射图像以获取多个视图作为输入。

主要贡献：
①将3dgs移植到基于(神经网络）学习的单目重建中。
②简单高效，可以在标准GPU上以38FPS运行，并提供单GPU训练。
③该方法扩展到多视图重建。
④在重建质量和速度方面，在多个标准基准（包括合成、真实、多类别和大规模数据集）中获得最先进的重建性能。

4 相关工作

这篇论文的相关工作框架如下：
1.单视图的三维重建表示
2.使用点云进行三维重建
3.概率三维重建

4.1 单视图的三维重建表示

在这里插入图片描述
工作重点是以对象为中心的重建

4.2 使用点云进行三维重建

在这里插入图片描述

4.3 概率三维重建

扩散模型（diffusion model）已被用于条件新视图合成。
但是由于生成的图像没有底层几何图形，输出图像表现出明显的闪烁。
这可以通过同时生成多视图图像、在去噪过程的每一步重建一个几何图形或训练一个鲁棒重建器（robust reconstructor）来缓解。
其他作品构建并使用3D或2D先验，用于图像条件自动解码框架。