Abstract

Aleth-NeRF: 带有隐蔽场假设的照明自适应 NeRF 照明照明标准的神经辐射场(NeRF)范例采用了一种以观察者为中心的方法，将光照和材料反射的各个方面仅仅从3D 点发射纠缠在一起。这种简化的渲染方法在准确建模在不利光照条件下捕获的图像方面提出了挑战，如弱光或过度曝光。受到古希腊发射理论的启发，我们假设视知觉是由眼睛发出的光线造成的，我们稍微改进了传统的 NeRF 框架，以便在具有挑战性的光照条件下训练 NeRF，并在无监督的情况下生成正常光照条件下的新视图。我们引入了“隐蔽场”的概念，它为周围的空气分配透射率值，以考虑照明效果。在黑暗的场景中，我们假设物体发射维持一个标准的照明水平，但是在渲染过程中它们穿过空气时会被减弱。因此，即使在光线昏暗的情况下，“隐蔽场”也会迫使 NERF 学会对物体进行合理的密度和颜色估计。同样，隐藏场可以减轻渲染阶段过度暴露的排放。此外，我们提出了全面的在具有挑战性的光照 条件下捕获的多视图数据集用于评估。我们的代码和建议的数据集可在 https://github.com/cuiziteng/aleth-nerf 查阅。

Introduction

神经辐射场(NeRF)(Mildenhall et al. 2020)已被证明能够有效地从二维图像中理解三维场景并产生新的视图。然而，NERF 及其后续变体的制定假设捕获的图像在正常光下，往往不能在弱光下(Mildenhall et al. 2021)或过度曝光的情况下工作。这是因为vanilla NeRF 是以观察者为中心的，它模拟了从一个位置到观察者的光发射量，而没有解开光照和材料的纠缠(图1(a))(Lyu et al. 2022)。结果，NeRF 算法将黑暗场景解释为三维物体粒子辐射不足，违反了对物体材质和几何形状的估计。在实际应用中，图像通常是在具有挑战性的光照条件下拍摄的。因此，本文的目的是要稍微修改vanilla NERF 的曝光不足和过度场景（under & over-exposure scenes.）。如图1(c，d)所示，提出的 Aleth-NeRF，呈现正常光的新视图尽管是严重的输入图像。

Figure 1:利用隐蔽场假设，Aleth-NeRF 能够处理弱光和过曝光的多视图图像作为输入，并在自然光照下产生新的视图。

NeRF 中的渲染过程(图1(b))类似于古希腊以观众为中心的发射理论。发射理论忽略了入射光，但假设从眼睛发出的视觉光线以直线传播，并与物体相互作用形成视知觉。因此，一个实体的黑暗仅仅是由物体和眼睛之间的粒子引起的。换句话说，除非隐藏，否则默认情况下所有对象都是可见的。受到这种世界观的启发，我们假设了一个简单但 NeRF 友好的概念，那就是在观看方向上的隐藏场(图1©中的灰色粒子)减弱了发射，使观看者看到了一个低光场。这与标准的 NeRF 设置相反，在 标准NeRF 设置中，空气密度(图1(a)中的白色颗粒)通常为零。引入隐蔽场，赋予空气粒子透过率值，使得 NeRF 能够在弱光条件下准确地估计物体(图1©中的黄色粒子)的颜色和密度，因此在去除隐蔽场时，或者说 Aletheia (αλη θ εlα)1，我们能够在正常光下呈现出新的视图。相反，对于曝光过度的场景，在渲染阶段刻意增加隐藏场可以纠正曝光。
我们提出的方法 Aleth-NeRF 以弱光和过曝光图像作为输入来训练模型，并结合隐藏场学习体积表示。如图1(b)所示，我们在对象和观察者间结合隐藏场共同训练 NERF 。对于弱光场景，我们在渲染阶段移除隐藏场(图1©)。当处理过度曝光的图像时，Aleth-NeRF 会添加隐藏场来抑制过度明亮(图1(d))。我们的贡献概述如下:
①我们提出了 Aleth-NERF，它可以在弱光和过度曝光条件下进行训练，并在正常光下产生新的视图。受到古希腊哲学的启发，我们自然地扩展了vanilla NeRF 的透射功能，通过模拟物体和观察者之间的隐藏场来解释明度降低。
②我们贡献了一个具有挑战性的照明多视图数据集，配对 sRGB 弱光和正常光和过度曝光图像，数据集也将是公开的。
③我们比较了各种图像增强和曝光校正方法和以前的基于 NERF 的方法(Mildenhall et al. 2021)。大量的实验表明，我们的 Aleth-NERF 算法达到了令人满意的增强质量和多视图一致性。

Related work

Novel View synthesis with NeRF
NERF (Mildenhall et al. 2020)被提出用于从一组位置输入图像合成新的视图。由于采用了物理立体渲染方案，NeRF 模型在保持三维几何一致性方面具有独特的优势。此外，已经提出了几种方法来加速和改善 NeRF 训练(Barron 等，2021; Sara Fridovich-Keil 和 Alex Yu 等，2022; Lindell，Martel，and wetzstein 2021; Yu 等，2021; Jain，Tancik 和 Abbeel 2021; Deng 等，2022; M uller 等，2022)。

后者的许多工作集中在改善 NERF 在各种退化条件下的性能，如模糊(Ma et al。2021) ，噪声(Pearl，Treibitz 和 Korman 2022) ，反射(Guo et al。2022) ，光泽表面(Verbin et al。2022) ，水下(Levy et al。2023) ，或使用 NERF 处理超分辨率(Wang et al。2021a; Bahat et al。2022)和 HDR 重建(Xin et al。2021; Jun-Seong et al。2022)在3D 空间。另一项研究扩展了 NERF 在3D 空间中的亮度编辑。一些工作，如 NeRF-W (Martin-Brualla et al。2021) ，侧重于使用不受控制的野外图像渲染 NeRF，其他重新照明工作(Srinivasan et al。2021; Rudnev et al。2022; Zhang et al。2021b)依赖于已知的照明条件，并引入额外的物理元素(即正常，光，反照率等) ，以及这些元素的复杂参数建模。同时，这些方法并不是专门为弱光和过度曝光条件而设计的。

其中，RAW-NeRF (Mildenhall et al. 2021)更接近于我们的工作，提出在 HDR RAW 域渲染 NERF，然后用图像信号处理器(ISP)对渲染后的场景进行后处理，RAW-NeRF 已显示出初步的场景光增强能力，但需要 HDR RAW 数据进行训练，这使得它很难在常用的 sRGB 图像上推广。相反，我们的 Aleth-NERF 可以直接在 sRGB 上渲染曝光下和过曝光图像，并通过一种有效的隐藏场方式将无监督的增强注入到三维空间中。
Enhancement in challenging light conditions
具有挑战性的亮度可能来自多种来源，包括自然光变化(如弱光环境和过于明