3D 生成重建031-One-2-3-45多视图+Neus生成3D*

---

0 论文工作

单图像三维重建是一项重要但极具挑战性的任务，需要对现实世界有深入的了解。许多现有的方法通过在二维扩散模型的引导下优化神经辐射场来解决这个问题，但这些方法存在优化时间长、三维结果不一致以及几何形状差等缺点。在这项工作中，论文提出了一种新颖的方法，该方法将任意物体的单张图像作为输入，并在单个前馈过程中生成完整的360度三维纹理网格。给定单张图像，我们首先使用视图条件的二维扩散模型Zero123生成输入视图的多视图图像，然后尝试将其提升到三维空间。由于传统的三维重建方法难以处理多视图预测的不一致性，因此基于SDF的通用神经表面重建方法构建了三维重建模块，并提出了一些关键的训练策略来实现360度网格的重建。在没有耗时的优化的情况下，论文方法比现有方法显著缩短了三维形状的重建时间。此外改方法具有更好的几何形状，生成的三维结果更一致，并且更符合输入图像。
可以发现在这个论文工作介绍中我是少数加粗了新颖两个字的，因为在我的记忆里面这个工作此类方法中最早的工作，当然仅限于我的认知中。
paper
github
相关论文
unique3D
wonder3D

论文方法

One-2-3-45 旨在解决现有单图像三维重建方法中优化时间长、三维结果不一致以及几何形状差的问题。该方法采用了一个三阶段的流程：
多视角图像生成: 首先利用一个基于Stable Diffusion微调的视图条件二维扩散模型Zero123，从单张输入图像生成多视角图像。
视角估计: 为了得到准确的相机姿态，利用Zero123生成的四个临近视角图像估计输入图像的视角（仰角）。
三维重建: 最后，利用一个基于SDF的通用神经表面重建方法 (SparseNeuS)，结合生成的具有相机姿态的多视角图像，进行三维重建，直接生成完整的360度纹理网格。 该方法还引入了多种训练策略，例如两阶段视角选择和真值预测混合训练，以增强重建的鲁棒性和质量。
摒弃逐形状优化: One-2-3-45 的最大创新点在于摒弃了耗时的逐形状优化。现有许多方法依赖于迭代优化神经辐射场或其他三维表示，导致速度慢且效率低。One-2-3-45 采用单次前馈网络，直接生成最终的网格，极大地提高了效率。
利用视图条件二维扩散模型生成多视角图像: One-2-3-45 利用Zero123生成多视角图像，有效地利用了二维扩散模型强大的图像生成能力和先验知识，为三维重建提供了更丰富的信息。
视角估计模块: 为了提高三维重建的准确性，One-2-3-45 设计了一个视角估计模块，自动估计输入图像的视角。这避免了手动标注相机参数的繁琐步骤，提高了方法的自动化程度。
基于SparseNeuS的通用三维重建模块: One-2-3-45 使用SparseNeuS进行三维重建，该方法具有良好的泛化能力，能够处理不同类型的物体。

2 实验结果