3D 生成重建039-Edify 3D:Nvidia的3D生成大模型

---

0 论文工作

文档介绍了Edify 3D，一种为高质量的3D资产生成而设计的高级解决方案。首先在多个视点上合成了所描述对象的RGB和表面法线图像正在使用扩散模型。然后使用多视图观测来重建物体的形状、纹理和PBR材料。方法可以生成高质量的三维资产里，干净的形状拓扑，高分辨率的纹理，和材料在2分钟内运行。
整体来看3dify3d像是wonder3d类的方法跟生成三平面的方法和基于优化的方法的大融合。
前面来看论文的方法就是生产图像和法线，然后图像和法线相比wonder3d和unique3d没有直接去合成三维，而是更CRM类的方法一样用**一个扩散模型生成三平面再转3d。但是前面我有提过这种转三平面的方法因为中间加了一个模型会涉及范化性问题，可能会造成生成结果缺少细节信息。**文章应该也考虑这个问题了，在三平面生成的基础上又加了一个基于超分的细节补充通道。
paper
相关论文
nerfdiff
diffnef
hyperdiffusion
GRM
LGM
GAUSSIANANYTHING
diffGS
wonder3d
unique3d

1 论文方法

核心功能，Edify 3D具有以下功能：文本到3D的生成。给定一个输入文本描述，Edify 3D生成一个具有上述属性的数字3D资产。
•图像到三维生成。Edify 3D还可以从对象的参考图像中创建一个3D资产，自动识别图像中的前景对象。
模型设计。Edi的核心技术fy 3D依赖于两种类型的神经网络：扩散模型和transformer。这两种架构都展示了巨大的可伸缩性随着更多的培训数据可用，并成功地提高了生成质量。
论文训练了以下模型：
**多视图扩散模型。**我们训练多重扩散模型，从多个角度合成一个物体的RGB外观和表面法线。输入可以是文本提示符、参考图像，或者两者都有
重建模型利用合成的多视图RGB和表面法线图像，一个重建模型预测了三维形状的几何形状、纹理和材料。采用了一个基于transformer的模型来预测三维对象作为三平面特征，然后进行等面提取和网格处理
超分优化：在上面的基础上生成高分辨率图像优化细节信息。

2 实验结果