108、3D Gaussian Splatting for Real-Time Radiance Field Rendering

简介

官网
在这里插入图片描述
更少训练时间的同时实现最先进的视觉质量,能在1080p分辨率下实现高质量的实时(≥30 fps)新视图合成

NeRF使用隐式场景表示,体素,点云等属于显示建模方法,3DGS就是显示辐射场。它用3D高斯作为灵活高效的表示方法,同时利用神经网络的特性进行参数优化,旨在以更快的训练速度和实时性能实现高质量的渲染,尤其适用于复杂场景和高分辨率输出。

nerf是一个连续的表示,隐含地表示空/占用空间;为了找到空间点的样本,需要进行昂贵的随机抽样,由此产生噪声和计算开销。相比之下,点是一种非结构化的离散表示,它具有足够的灵活性,可以创建、破坏和替换类似于NeRF的几何体。这是通过优化不透明度和位置来实现的,同时避免了完整体积表示的缺点

知识补充

协方差矩阵

方差:度量单个随机变量的离散程度,越大,越离散
V a r ( x ) = 1 n − 1 ∑ i = 1 n ( x i − μ x ) 2 \begin{align} Var(x) = \frac{1}{n-1}\sum^n_{i=1}(x_i-\mu_x)^2 \end{align} Var(x)=n11i=1n(xiμx)2
n为样本量, μ x \mu_x μx表示观测样本的均值

协方差:两个个随机变量的相似程度,负数为负相关,正数为正相关,0为无关
C o v ( a , b ) = n − 1 ∑ i = 1 n ( a i − μ a ) ( b i − μ b ) \begin{align} Cov(a,b)=\frac{n-1}\sum^n_{i=1}(a_i-\mu_a)(b_i-\mu_b) \end{align} Cov(a,b)=n1i=1n(aiμa)(biμb)
方差也可以看作是自己对自己求协方差

协方差矩阵
Σ = [ C o v ( x 1 , x 1 ) C o v ( x 1 , x 2 ) ⋯ C o v ( x 1 , x d ) C o v ( x 2 , x 1 ) C o v ( x 2 , x 2 ) ⋯ C o v ( x 2 , x d ) ⋮ ⋮ ⋱ ⋮ C o v ( x d , x 1 ) C o v ( x d , x 2 ) ⋯ C o v ( x d , x d ) ] ∈ R d × d \begin{align} \Sigma = \begin{bmatrix} {Cov(x_1,x_1)}&{Cov(x_1,x_2)}&{\cdots}&{Cov(x_1,x_d)}\\ {Cov(x_2,x_1)}&{Cov(x_2,x_2)}&{\cdots}&{Cov(x_2,x_d)}\\ {\vdots}&{\vdots}&{\ddots}&{\vdots}\\ {Cov(x_d,x_1)}&{Cov(x_d,x_2)}&{\cdots}&{Cov(x_d,x_d)}\\ \end{bmatrix} \in R^{d \times d} \end{align} Σ= Cov(x1,x1)Cov(x2,x1)Cov(xd,x1)Cov(x1,x2)Cov(x2,x2)Cov(xd,x2)Cov(x1,xd)Cov(x2,xd)Cov(xd,xd) Rd×d
对角线上的元素为各个随机变量的方差,非对角线上的元素为两两随机变量之间的协方差,协方差矩阵是对称矩阵

球谐函数

如高等数学中的傅里叶变换,任何一个二维函数可以分解为不同的正弦与余弦之和:

在这里插入图片描述
f ( x ) = a 0 + ∑ n = 1 + ∞ a n cos ⁡ n π i x + b n sin ⁡ n π i x \begin{align} f(x) = a_0 + \sum^{+\infty}_{n=1}a_n\cos {\frac{n\pi}{i}}x+b_n\sin {\frac{n\pi}{i}}x \end{align} f(x)=a0+n=1+ancosix+bnsinix

这里的 cos ⁡ n π l x \cos {\frac{n\pi}{l}}x coslx sin ⁡ n π l x \sin {\frac{n\pi}{l}}x sinlx叫做基函数,原则上讲当 n → + ∞ n \to +\infty n+时,可以完美拟合这个函数,也可以对这个函数进行近似
f ( x ) ≈ a 0 + ∑ n = 1 i a n cos ⁡ n π i x + b n sin ⁡ n π i x \begin{align} f(x) \approx a_0 + \sum^{i}_{n=1}a_n\cos {\frac{n\pi}{i}}x+b_n\sin {\frac{n\pi}{i}}x \end{align} f(x)a0+n=1iancosix+bnsinix

如果函数是一个有界的,闭合的,平滑的曲面呢?
在这里插入图片描述
可以表示为下述坐标形式
在这里插入图片描述
用球面函数表示方法来表示 f ( θ , ψ ) f(\theta,\psi) f(θ,ψ),这个函数也有自己基函数组成

在这里插入图片描述
球面函数的基函数是
在这里插入图片描述

高斯分布

一维高斯分布
p ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 \begin{align} p(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} \end{align} p(x)=2π σ1e2σ2(xμ)2
均值为 μ \mu μ,方差为 σ \sigma σ,数据以99%的概率落在 μ − 3 σ \begin{smallmatrix}\mu-3\sigma\end{smallmatrix} μ3σ μ + 3 σ \begin{smallmatrix}\mu+3\sigma\end{smallmatrix} μ+3σ之间
在这里插入图片描述

二维标准高斯分布( μ = 0 , σ = 1 \mu=0,\sigma=1 μ=0,σ=1)

因为是标准二维高斯分布,所以每个变量之间是独立的
p ( x , y ) = p ( x ) p ( y ) = 1 2 π e ( − x 2 + y 2 2 ) \begin{align} p(x,y)=p(x)p(y)=\frac{1}{2\pi}e^{(-\frac{x^2+y^2}{2})} \end{align} p(x,y)=p(x)p(y)=2π1e(2x2+y2)
为了向量化公式,用向量 v = [ x y ] T \begin{smallmatrix}v=[x y]^T\end{smallmatrix} v=[xy]T表示

p ( v ) = 1 2 π e − 1 2 v T v \begin{align} p(v)=\frac{1}{2\pi}e^{-\frac{1}{2}v^Tv} \end{align} p(v)=2π1e21vTv
这个时候,用 v = A ( x − μ ) \begin{smallmatrix}v=A(x-\mu)\end{smallmatrix} v=A(xμ),其中的 A 为 V 中每个分量的线性组合系数,也就是说 A 表示了每个变量的线性关系
p ( v ) = ∣ A ∣ 2 π e − 1 2 ( x − μ ) T A T A ( x − μ ) \begin{align} p(v) = \frac{|A|}{2\pi}e^{-\frac{1}{2}(x-\mu)^TA^TA(x-\mu)} \end{align} p(v)=2πAe21(xμ)TATA(xμ)
Σ = ( A T A ) − 1 \begin{smallmatrix}\Sigma=(A^TA)^{-1}\end{smallmatrix} Σ=(ATA)1表示其协方差,其中 |A|为行列式
p ( v ) = 1 2 π ∣ Σ ∣ 1 2 e − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) \begin{align} p(v) = \frac{1}{2\pi|\Sigma|^{\frac{1}{2}}} e^{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)} \end{align} p(v)=2π∣Σ211e21(xμ)TΣ1(xμ)
图像为
在这里插入图片描述

多维高斯分布
p ( x ) = 1 ( 2 π ) N 2 ∣ Σ ∣ e − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) \begin{align} p(x) = \frac{1}{ (2\pi)^{\frac{N}{2}} |\Sigma| }e^{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)} \end{align} p(x)=(2π)2N∣Σ∣1e21(xμ)TΣ1(xμ)

假设一个向量 x 服从均值向量为 μ \mu μ 、协方差矩阵为 Σ \Sigma Σ 的多元正态分布,令 μ = 0 \begin{smallmatrix}\mu=0\end{smallmatrix} μ=0,由于指数项外面的系统 1 ( 2 π ) N 2 ∣ Σ ∣ \begin{smallmatrix}\frac{1}{ (2\pi)^{\frac{N}{2}} |\Sigma| }\end{smallmatrix} (2π)2N∣Σ∣1通常为常数,去掉后简化为:

p ( x ) ∝ e − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) \begin{align} p(x) \propto e^{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)} \end{align} p(x)e21(xμ)TΣ1(xμ)

三维高斯的图像可以想象一个突起的小山坡

固定概率为 p 的三维高斯分布是什么样呢?

e − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) = p ( x − μ ) T Σ ( x − μ ) = − 2 ln ⁡ p \begin{align} e^{-\frac{1}{2}(x-\mu)^T\Sigma^-1(x-\mu)} &= p \\ \nonumber (x-\mu)^T\Sigma(x-\mu) &= -2\ln p \end{align} e21(xμ)TΣ1(xμ)(xμ)TΣ(xμ)=p=2lnp

这里 − 2 ln ⁡ p -2\ln p 2lnp是常数C, Σ \Sigma Σ是实对称矩阵,令 Σ = P T Λ P \begin{smallmatrix}\Sigma=P^T \Lambda P\end{smallmatrix} Σ=PTΛP

( x − μ ) T P T Λ P ( x − μ ) = C ( P ( x − μ ) ) T Λ P ( x − μ ) = C \begin{align} (x-\mu)^TP^T\Lambda P(x-\mu) &= C \\ \nonumber (P(x-\mu))^T \Lambda P(x-\mu) &= C \end{align} (xμ)TPTΛP(xμ)(P(xμ))TΛP(xμ)=C=C

y = P ( x − μ ) y=P(x-\mu) y=P(xμ),令

Λ = [ σ 1 2 0 0 0 σ 2 2 0 0 0 σ 3 2 ] \begin{align} \Lambda= \begin{bmatrix} {\sigma^2_1}&{0}&{0}\\ {0}&{\sigma^2_2}&{0}\\ {0}&{0}&{\sigma^2_3} \end{bmatrix} \end{align} Λ= σ12000σ22000σ32

原子式变为
C = y T Λ y = σ 1 2 y 1 2 + σ 2 2 y 2 2 + σ 3 2 y 3 2 C=y^T\Lambda y = \sigma^2_1y^2_1 + \sigma^2_2y^2_2 + \sigma^2_3y^2_3 C=yTΛy=σ12y12+σ22y22+σ32y32

该公式是标准的椭球方程,所以原子式就是把标准椭球经过旋转变换 P − 1 P^{-1} P1,再挪到 μ \mu μ点得到。所以对于一个三维高斯而言,同一个椭球表面其概率密度相同,离 μ \mu μ越远,其概率越小。
在这里插入图片描述
一个多元高斯轴的长度为 Σ \Sigma Σ的特征值。
和一维一样,有99%的概率落在 3 σ 1 3\sigma_1 3σ1, 3 σ 2 3\sigma_2 3σ2, 3 σ 3 3\sigma_3 3σ3所在的椭球内, σ 1 , σ 2 , σ 3 \sigma_1,\sigma_2,\sigma_3 σ1,σ2,σ3 Σ \Sigma Σ的特征值

高斯分布的性质

  • 高斯函数的傅里叶变换还是高斯函数
  • 高斯函数与高斯函数的卷积仍是高斯函数
  • 高斯分布经仿射变换后仍是高斯分布
  • 多元高斯分布的边缘分布仍是高斯分布

图形学渲染——坐标变换

在这里插入图片描述
传统图形学的渲染管道里,需要把空间的物体投影到相机平面,也就是需要指导空间每个点到特点相机平面上的位置是多少,传统图形学的流程是:

先把视锥内物体进行一个透视投影,压缩到一个非透视的空间内,然后使用正交投影,将视锥内物体压缩到各维度为[-1,1]的空间内

透视投影就是最类似人眼所看东西的方式,遵循近大远小,如果说正交投影都是水平光线,那么透视投影则显然不是了(左透视,右正交)

透视投影
在这里插入图片描述
此时,投影过程可用下图解释,将 (x,y,z)一点投影至投影屏幕之后,他的坐标变为( x′ , y′ , z′ )
在这里插入图片描述
图中原点代表视点,z = -n 代表投影平面,利用相似三角形性质不难得出图中投影之后的坐标

那么利用齐次坐标的性质,希望找到一个矩阵完成如下变换

在这里插入图片描述
如果形象化的描述一下的话,就是利用这个变换矩阵将整个空间压缩了一下,使其对应了真正透视投影的坐标,最后不要忘了要利用正交转换到 [ − 1 , 1 ] 3 [-1,1]^3 [1,1]3的空间之内

首先,这个矩阵的前两行和最后一行是能很快确定出来的,根据最后的齐次坐标,如下:
在这里插入图片描述
那么如何确定第三行呢,这里就要运用透视投影的一个性质:

可视空间,前后面变换之后 z 坐标不变
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
得最后变换矩阵为
在这里插入图片描述

正交投影

在这里插入图片描述

正交投影是相对简单的一种,坐标的相对位置都不会改变,所有光线都是平行传播,只需将物体(可视部分,即上图的那个长方体)全部转换到一个 [ − 1 , 1 ] 3 [-1,1]^3 [1,1]3的空间之中即可(其中x,y坐标便是投影结果,保留z是为了之后的遮挡检测),这只是为了之后的计算更加的方便而已,在转换到屏幕坐标的时候就会重新拉伸回来,所有物体的相对大小位置都不会有任何变化

在这里插入图片描述
在这里插入图片描述

总的变换公式为
在这里插入图片描述

3D Gaussian Splatting

在这里插入图片描述

空间点

和particle-based rendering一样,因为点没有体积,所以需要对它进行一个扩展,扩展方式与传统的particle-based rendering 不同,它用3D Gaussian表示

高斯分布由在世界空间中定义的全三维协方差矩阵 Σ \Sigma Σ定义,以点(mean)为中心

G ( x ) = e − 1 2 ( x ) T Σ − 1 ( x ) \begin{align} G(x) = e^{-\frac{1}{2}(x)^T\Sigma^{-1}(x)} \end{align} G(x)=e21(x)TΣ1(x)

这和前面说的3D Gaussian表示一样,省去了常数项,这种表示具有更强的灵活性,用更少的点表示更复杂的形状

3D 高斯的属性包括:

  • 每个点的坐标(中心位置, μ \mu μ
  • 每个点的高斯表示中的 Σ \Sigma Σ
  • 每个点的颜色
  • 每个点的不透明度 α \alpha α

Σ \Sigma Σ(协方差矩阵)

正定矩阵:
若所有特征值均大于零,则称为正定
A 是 n 阶方阵,如果对任何非零向量 x,都有 x T A x > 0 x^TAx>0 xTAx>0 x T x^T xT表示x的转置,则A为正定矩阵。

半正定矩阵:
若所有特征值均不小于零,则称为半正定
A 是 实对称矩阵,如果对任何实非零列向量 x,都有 x T A x > 0 x^TAx>0 xTAx>0 x T x^T xT表示x的转置,则A为正定矩阵

这里的 Σ \Sigma Σ(协方差矩阵)是一个半正定矩阵,要保证这个半正定条件,所以不能对其随机初始化,假定:
Σ = R Λ R T = R Λ 1 2 Λ 1 2 R T = ( R Λ 1 2 ) ( R Λ 1 2 ) T \begin{align} \Sigma &= R\Lambda R^T \\ \nonumber &=R\Lambda^{\frac{1}{2}}\Lambda^{\frac{1}{2}}R^T \\ &= (R\Lambda^{\frac{1}{2}})(R\Lambda^{\frac{1}{2}})^T \end{align} Σ=RΛRT=RΛ21Λ21RT=(RΛ21)(RΛ21)T

其中R是一个正交矩阵,可以理解为旋转矩阵, Λ 1 2 \Lambda^{\frac{1}{2}} Λ21是一个全为正数的对角矩阵,可以理解为缩放矩阵,论文的表示为:
Σ = R S S T R T \begin{align} \Sigma=RSS^TR^T \end{align} Σ=RSSTRT

点的颜色 c

为了模拟高光的点,会加入方向向量,使得从不同方向得到不同的颜色,这里使用球谐函数表示。

渲染公式

NeRF体渲染公式

C = ∑ i = 1 N T i ( 1 − e − σ i δ i ) c i w i t h T i = e − ∑ j = 1 i − 1 σ j δ j \begin{align} C &= \sum^N_{i=1}T_i(1-e^{-\sigma_i\delta_i})c_i \ with \\ \nonumber T_i &= e^{-\sum^{i-1}_{j=1}\sigma_j\delta_j} \end{align} CTi=i=1NTi(1eσiδi)ci with=ej=1i1σjδj

同样的这里也使用类似的方式

C = ∑ i ∈ N c i α i ∏ j = 1 i − 1 ( 1 − α i ) \begin{align} C = \sum_{i\in N} c_i\alpha_i \prod^{i-1}_{j=1}(1-\alpha_i) \end{align} C=iNciαij=1i1(1αi)

c i c_i ci是每个点的颜色, α i \alpha_i αi是通过对协方差 Σ \Sigma Σ乘以每个点不透明度的二维高斯函数进行评估得到

投影(泼溅splatting)

在这里插入图片描述

现在,空间点是3D高斯(椭球),携带了中心位置 μ \mu μ、不透明度 σ \sigma σ、3D协方差矩阵 Σ \Sigma Σ和颜色 c ,渲染方程也如上表述。那么现在就是将3D高斯(椭球)投影到2D图像空间(椭圆)进行渲染。

透视投影
给定视图变化 W ,3D协方差矩阵 Σ \Sigma Σ 从世界坐标转换到相机坐标的公式如下:
Σ c ′ = W Σ W T \begin{align} \Sigma^\prime_c = W \Sigma W^T \end{align} Σc=WΣWT

正交投影
如上述知识补充,我们可以直接用正交投影获得相机平面投影,但是,原始正交头像不考虑z坐标,而渲染公式中需要3D高斯(椭球)的先后顺序(深度),为此,对正交投影进行修改。

假设相机坐标 ( t 1 , t 2 , t 3 ) (t_1,t_2,t_3) (t1,t2,t3),对其进行压缩到 ( x 1 , x 2 , x 3 ) (x_1,x_2,x_3) (x1,x2,x3),公式为:
x 1 = t 1 t 3 x 2 = t 2 t 3 x 3 = t 1 2 + t 2 2 + t 3 2 \begin{align} x_1&=\frac{t_1}{t_3} \\ \nonumber x_2&=\frac{t_2}{t_3} \\ \nonumber x_3&=\sqrt{t^2_1+t^2_2+t^2_3} \end{align} x1x2x3=t3t1=t3t2=t12+t22+t32

x 3 x_3 x3的设计是非线性变换,无法通过求解一个变换矩阵求解出来,但是可以用一个线性变换对这个非线性变换进行近似,如泰勒展示式那样:

f ( x ) ≈ f ( x 0 ) + f ′ ( x 0 ) ( x − x 0 ) \begin{align} f(x) \approx f(x_0)+f^\prime(x_0)(x-x_0) \end{align} f(x)f(x0)+f(x0)(xx0)

f ( x ) f(x) f(x)的情况就是为 R → R R \to R RR的情况,为了把拓展为高维的 R m → R n R^m \to R^n RmRn,使用雅可比矩阵:
f ( x ) ≈ f ( x 0 ) + J ( x − x 0 ) \begin{align} f(x) \approx f(x_0) + J(x-x_0) \end{align} f(x)f(x0)+J(xx0)
J是雅可比矩阵,可以看作一阶导的多维形式,假设输入为: x 1 , x 2 , ⋯ , x m x_1,x_2,\cdots,x_m x1,x2,,xm,输出为: y 1 , y 2 , ⋯ , y n y_1,y_2,\cdots,y_n y1,y2,,yn

J = [ ∂ y 1 x 1 ∂ y 1 x 2 ⋯ ∂ y 1 x m ∂ y 2 x 1 ∂ y 2 x 2 ⋯ ∂ y 2 x m ⋮ ⋮ ⋱ ⋮ ∂ y n x 1 ∂ y n x 2 ⋯ ∂ y n x m ] \begin{align} J = \begin{bmatrix} { \frac{\partial y_1}{x_1} } & { \frac{\partial y_1}{x_2} } & {\cdots} & {\frac{\partial y_1}{x_m}} \\ { \frac{\partial y_2}{x_1} } & { \frac{\partial y_2}{x_2} } & {\cdots} & {\frac{\partial y_2}{x_m}} \\ {\vdots}&{\vdots}&{\ddots}&{\vdots} \\ { \frac{\partial y_n}{x_1} } & { \frac{\partial y_n}{x_2} } & {\cdots} & {\frac{\partial y_n}{x_m}} \\ \end{bmatrix} \end{align} J= x1y1x1y2x1ynx2y1x2y2x2ynxmy1xmy2xmyn

那么前面的非线性变换可以使用下述公式进行近视,其雅可比矩阵为:
[ 1 t 3 0 − t 1 t 3 0 1 t 3 − t 2 t 3 t 1 t 1 2 + t 2 2 + t 3 2 t 2 t 1 2 + t 2 2 + t 3 2 t 3 t 1 2 + t 2 2 + t 3 2 ] \begin{align} \begin{bmatrix} {\frac{1}{t_3}} & {0} &{-\frac{t_1}{t_3}} \\ {0} & {\frac{1}{t_3}} &{-\frac{t_2}{t_3}} \\ {\frac{t_1}{\sqrt{t^2_1+t^2_2+t^2_3} } } & {\frac{t_2}{\sqrt{t^2_1+t^2_2+t^2_3} } } & {\frac{t_3}{\sqrt{t^2_1+t^2_2+t^2_3} } } \end{bmatrix} \end{align} t310t12+t22+t32 t10t31t12+t22+t32 t2t3t1t3t2t12+t22+t32 t3

对每个高斯在其中心点展开,得到其雅可比矩阵,就可以得到这个高斯的线性变换矩阵。根据高斯分布的性质(高斯分布经仿射变换后仍是高斯分布),如果一个线性变换 A x + b \begin{smallmatrix}Ax+b\end{smallmatrix} Ax+b,高斯分布经过这个变换之后:

μ ′ = A μ + b \begin{align} \mu^\prime = A\mu+b \end{align} μ=Aμ+b

等同于对线性矩阵 Σ \Sigma Σ进行下面操作:

Σ ′ = A Σ A T \begin{align} \Sigma^\prime = A\Sigma A^T \end{align} Σ=AΣAT

给定视图变化W,3D高斯(椭球)从世界坐标相机坐标再到相机平面的变换公式为:

Σ ′ = J W Σ W T J T \begin{align} \Sigma^\prime = JW\Sigma W^TJ^T \end{align} Σ=JWΣWTJT
J为雅可比矩阵,最终就得到了3D高斯投影到相机平面的椭圆

相机平面是2D的,z坐标是用来评估3D高斯先后顺序(深度)的,当丢弃 Σ ′ \Sigma^\prime Σ的第三行和第三列(z坐标)就是投影到相机平面的协方差矩阵了。

像素点着色

要计算像素点的着色,首先需要知道哪些高斯投影到这个像素点上。投影部分已经知道3D高斯经过仿射变换后投影到平面的高斯,也知道了99%的概率会落在 3 σ 1 , 3 σ 2 3\sigma_1,3\sigma_2 3σ1,3σ2之内,为了简化计算,将范围扩大为 ( m a x ( 3 σ 1 , 3 σ 2 ) , m a x ( 3 σ 1 , 3 σ 2 ) ) (max(3\sigma_1,3\sigma_2),max(3\sigma_1,3\sigma_2)) (max(3σ1,3σ2),max(3σ1,3σ2)).

titles(图像块)
在这里插入图片描述
为了避免为每个像素计算有序列表的计算成本,3D GS将精度从像素级别转移到块级别细节。3D GS 将图像划分为多个不重叠的图像块(titles),每个块包含 16 × 16 16\times16 16×16像素。进一步确定哪些图像块与投影的高斯(椭圆)相交。
在这里插入图片描述
一个投影的高斯可能覆盖多个块,一种合理的方法是复制高斯,为每个副本分配一个标识符(即块ID)

3D GS 会将各自的块 ID 与每个高斯视图变换得到的深度值结合起来。这样就得到了一个未排序的字节列表,其中高位代表块 ID,低位表示深度。这样,使用快速排序后的列表就可以直接用于渲染公式。

每个块和像素的渲染都是独立进行的,因此这一过程非常适合并行计算。另外一个好处是,每个块的像素都可以访问一个公共的共享内存,并保持一个统一的读取序列,从而提高渲染的并行执行效率。在原论文的官方实现中,该框架将块和像素的处理分别视为类似于 CUDA 编程架构中的block和thread。

Adaptive Control

在这里插入图片描述
3D GS 是从 structure-from-motion (SfM) 或随机初始化的初始稀疏点集开始的。然后,采用点密集化和剪枝来控制场景中 3D 高斯的密度。

为了稳定,在较低分辨率下“预热”计算。具体来说,使用4倍小的图像分辨率开始优化,并在250次和500次迭代后进行两次上采样。

每100次迭代进行一次密集化,根据当前情况对高斯进行去除或增加

密集化:某些地方的高斯不足。坐标梯度较大(大于阈值 τ p o s \tau_{pos} τpos 0.0002)的地方就表示这里高斯不合适。这涉及到在重建不足的区域克隆小高斯,或者在重建过度的区域拆分大高斯。克隆时,创建一个高斯的副本,并向位置梯度移动。对于分割,则是用两个较小的高斯替换一个较大的高斯,将其比例缩小一个特定的系数。这一步骤旨在优化高斯在三维空间中的分布和表现,从而提高重建的整体质量

剪枝:当透明度非常低 α \alpha α低于某个阈值或者离相机距离非常近(可能是floater)则去掉。这在某种程度上可以看作是一个正则化过程。这样就能有控制地增加必要的高斯密度,同时剔除多余的高斯。这一过程不仅有助于节省计算资源,还能确保模型中的高斯保持精确,从而有效地表现场景。

参数优化

使用sigmoid激活函数将 α \alpha α约束在[0−1)范围内并获得平滑梯度,指数激活函数用于协方差的尺度。

3D GS 的损失函数与 NeRF 的略有不同。由于射线步进计算成本高昂,NeRFs通常在像素级别而不是图像级别进行 loss 的计算。

L = ( 1 − λ ) L 1 + λ L D − S S I M \begin{align} \mathcal{L} = (1-\lambda)\mathcal{L}_1 + \lambda\mathcal{L}_{D-SSIM} \end{align} L=(1λ)L1+λLDSSIM

λ = 0.2 \lambda=0.2 λ=0.2

SH系数优化对缺乏角度信息很敏感。对于典型的“类似nerf”的捕捉,即通过在其周围的整个半球拍摄的照片来观察中心物体,优化效果很好。然而,如果捕获有角度区域缺失(例如,当捕获场景的角落时,或执行“由内到外”),则可以通过优化产生SH的零阶分量(即基本色或漫反射色)的完全不正确的值。为了克服这个问题,首先只优化零阶分量,然后在每1000次迭代之后引入SH的一个波段,直到表示所有SH的4个波段。

3D高斯的大多数属性可以通过反向传播直接优化。需要注意的是,直接优化协方差矩阵 Σ \Sigma Σ 可能得到非半正定矩阵,这不符合通常与协方差矩阵相关联的物理解释。为了避免这个问题,3D GS 选择优化一个四元数 q 和一个三维向量 s。q 和 s 分别表示旋转和缩放。这样可以显式的将待优化的参数从9个变为4个。

q = q r + q i ⋅ i + q j ⋅ j + q k ⋅ k \begin{align} q = q_r+q_i\cdot i+q_j\cdot j+q_k\cdot k \end{align} q=qr+qii+qjj+qkk

为了避免自动微分的成本,3D GS 推导了 q 和 s 的梯度,以便在优化过程中直接计算它们。推导过程可参考 3D GS 原论文的附录A

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/288795.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

布隆过滤器详讲

本文旨在讲解布隆过滤器的原理以及实现方式,希望通过本文能使读者对布隆过滤器有一定的认识! 一、布隆过滤器的引入 在讲解布隆过滤器之前,我们还是先提及一下前面讲的位图行,位图可以处理大量的数据,广泛用于查找等…

什么是 MySQL 回表?

什么是 MySQL 回表? 题目 什么是 MySQL 回表? 推荐解析 回表简介 1)索引结构:MySQL 使用 B 树索引结构来加速数据的查找。B 树是一种多叉树,它的叶子节点中存储了完整的数据行,而非叶子节点存储了索引…

深度学习pytorch——过拟合欠拟合测试深度学习模型(持续更新)

随着项数越来越多,函数的图形就更加复杂,多项式也更加的复杂。 课时55 过拟合与欠拟合_哔哩哔哩_bilibili 如果利用多项式建造复杂模型,从仅仅一个常数至一个多次方函数,将会发现在线上的点会变得越来越多,这种逐渐接…

【2024系统架构设计】案例分析- 3 数据库

目录 一 基础知识 二 真题 一 基础知识 1 ORM ORM(Object—Relationl Mapping

机器学习——聚类算法-KMeans聚类

机器学习——聚类算法-KMeans聚类 在机器学习中,聚类是一种无监督学习方法,用于将数据集中的样本划分为若干个簇,使得同一簇内的样本相似度高,不同簇之间的样本相似度低。KMeans聚类是一种常用的聚类算法之一,本文将介…

Rust 02.控制、引用、切片Slice

1.控制流 //rust通过所有权机制来管理内存,编译器在编译就会根据所有权规则对内存的使用进行 //堆和栈 //编译的时候数据的类型大小是固定的,就是分配在栈上的 //编译的时候数据类型大小不固定,就是分配堆上的 fn main() {let x: i32 1;{le…

aws使用记录

数据传输(S3) 安装命令行 安装awscli: https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/getting-started-install.html#getting-started-install-instructions 直到 aws configure list 可以运行 身份验证: 运行: aws config…

EdgeGallery开发指南

API接口 简介 EdgeGallery支持第三方业务系统通过北向接口网关调用EdgeGallery的业务接口。调用流程如下图所示(融合前端edgegallery-fe包含融合前端界面以及北向接口网关功能,通过浏览器访问时打开的是融合前端的界面,通过IP:Port/urlPref…

【力扣hot100】23 合并K个排序链表(c++)解析

23 合并K个排序链表(c)解析 题解 23 合并K个排序链表(c)解析1.1 暴力求解1.2 逐一比较1.3 优先队列1.4 逐一合并1.5 分治 在解决「合并K个排序链表」这个问题之前,我们先来看一个更简单的问题: 如何合并两个有序链表?…

libVLC 动态视频壁纸

在 Windows 上,你可能需要使用 Windows API 来设置壁纸,而在 Linux 上,你可能需要使用某种桌面环境特有的方法。在 macOS 上,这一功能可能受到限制。 效果图如下所示: 以下是一个简单的示例,说明了如何在 …

【前端学习——js篇】11.元素可见区域

具体见:https://github.com/febobo/web-interview 11.元素可见区域 ①offsetTop、scrollTop offsetTop,元素的上外边框至包含元素的上内边框之间的像素距离,其他offset属性如下图所示: 下面再来了解下clientWidth、clientHeight…

文章解读与仿真程序复现思路——中国电机工程学报EI\CSCD\北大核心《考虑长周期供需不平衡风险的新型电力系统规划方法》

本专栏栏目提供文章与程序复现思路,具体已有的论文与论文源程序可翻阅本博主免费的专栏栏目《论文与完整程序》 论文与完整源程序_电网论文源程序的博客-CSDN博客https://blog.csdn.net/liang674027206/category_12531414.html 电网论文源程序-CSDN博客电网论文源…

codesys通过moudbus TCP连接西门子1214c,西门子做客户端

思路在codesys中发送数据到西门子,西门子原封不动的将数据传回。 1.首先配置codesys; 我设置了500个,但是好像发不这么多,只能120多个。因为什么来我忘了。但是这里不影响。 2.配置映射: 3.写代码 PROGRAM PLC_PRG VARarySendDa…

生产调度问题分类——机器视角

获取更多资讯,赶快关注上面的公众号吧! 文章目录 单机调度并行机调度流水车间调度作业车间调度柔性作业车间开放车间总结 生产调度问题是实际工作中广泛存在的运筹学问题,可以描述为“给定若干加工任务,根据已有的生产条件&#…

JavaWeb学习笔记01

一、教程简介 全新JAVAWEB(里程碑版) 一套更适合后端工程师学习的WEB教程 All in Java 1、后端 ① Spring全家桶及微服务框架 ② 高性能数据库和消息组件 ③ Web攻击防护安全控制手段 ④ 其他第三方SDK生态环境 ...... 2、前端 ① 视图三大件&…

C是用什么语言写出来的?

C是用什么语言写出来的? C语言的起源和发展是一个迭代过程: 1. 最初的C语言编译器的开发始于对B语言的改进。B语言是由Ken Thompson设计的,它是基于BCPL语言简化而来的。在开始前我有一些资料,是我根据网友给的问题精心整理了一份「 C语言的…

Sublime 彻底解决中文乱码

1. 按ctrl,打开Console,输入如下代码: import urllib.request,os; pf Package Control.sublime-package; ipp sublime.installed_packages_path(); urllib.request.install_opener( urllib.request.build_opener( urllib.request.ProxyHand…

16:00面试,16:06就出来了,问的问题有点变态。。。

从小厂出来,没想到在另一家公司又寄了。 到这家公司开始上班,加班是每天必不可少的,看在钱给的比较多的份上,就不太计较了。没想到8月一纸通知,所有人不准加班,加班费不仅没有了,薪资还要降40%…

07_Response

文章目录 案例(请求分发案例) Response响应行响应头响应体特殊响应头refreshContent-typeContent-dispositionlocation 案例(登录案例) 案例(请求分发案例) 场景:有多个请求 Http://localhost:…

逐步学习Go-并发通道chan(channel)

概述 Go的Routines并发模型是基于CSP,如果你看过七周七并发,那么你应该了解。 什么是CSP? "Communicating Sequential Processes"(CSP)这个词组的含义来自其英文直译以及在计算机科学中的使用环境。 CSP…