3d gaussian splatting公式推导

1. 离散公式推导

nerf中连续的积分渲染公式是：

$C(r)=\int_{0}^{t_i}T(t)\sigma(r(t))c(r(t), d)dt$

其中被遮挡率：

$T(t)=exp(-\int_{0}^{t_i}\sigma(r(s))ds)$

那么转换为离散公式后有：

$T_i=T(t_i) =exp(-\sum_{j=0}^{j=i-1}\int_{t_j}^{t_{j+1}}\sigma(t)dt) =exp(-\sum_{j=0}^{j=i-1}\sigma_j\delta_j)$

其中， $\delta_j$ 代表j时刻的时间差，将其带入渲染公式：

$C(i)=\sum_{j=0}^{j=i-1}\int_{t_j}^{t_{j+1}}T(t)\sigma(t)c(t)dt \\=\sum_{j=0}^{j=i-1}\int_{t_j}^{t_{j+1}}exp(-\int_{0}^{t}\sigma(s)ds)\sigma_jc_jdt \\=\sum_{j=0}^{j={i-1}}\int_{t_j}^{t_{j+1}}exp(-\int_{0}^{t_j}\sigma(s)ds)exp(-\int_{t_j}^{t}\sigma(s)ds)\sigma_jc_jdt \\=\sum_{j=0}^{j=i-1}\int_{t_j}^{t_{j+1}}T_jexp(-\int_{t_j}^{t}\sigma(s)ds)\sigma_jc_jdt \\=\sum_{j=0}^{j=i-1}T_j\sigma_jc_j\int_{t_j}^{t_{j+1}}exp(-\sigma_j(t-t_j)dt \\=\sum_{j=0}^{j=i-1}T_j\sigma_jc_j(-\frac{1}{\sigma_j})(exp(-\sigma_j\delta_j)-1) \\=\sum_{j=0}^{j=i-1}T_jc_j(1-exp(-\sigma_j\delta_j))$

设透明度 $\alpha_i=(1-exp(-\sigma_i\delta_i))$

则被遮挡率 $T_i =\prod_{j=1}^{j=i-1}(1-\alpha_i)$

有 $C(i)=\sum_{j=0}^{j=i-1}c_j\alpha_j\prod_{j=1}^{j=i-1}(1-\alpha_j)$

而gaussian-splating的公式与nerf不一样的点在于，透明度 $\alpha_i$ 的计算是根据像素点处于2D高斯球的概率求得的：

$\alpha_i=\frac{1}{2\pi\sqrt{\left | \Omega \right |}}exp(-0.5(x-\mu)\Omega ^{-1}(x-\mu))$

其中 $\mu$ 是3D高斯球溅射到屏幕上形成的2D高斯球的均值， $\Omega$ 是2D高斯球的协方差

2. 正向渲染公式推导

正向渲染是指从3D高斯球渲染到2D屏幕中某个像素值的颜色的过程。

2.1 3D高斯到2D高斯

首先，3D高斯参数有高斯球的中心即均值 $\omega$ ，协方差 $\Sigma$ ，透明度 $\sigma$ ，颜色 $c$ ，2D高斯参数有高斯球的中心即均值 $\mu$ ，协方差 $\Omega$ 。

对于均值 $\mu$ 来说，其值就是将 $\omega$ 转换到屏幕坐标系上就可以了

$p_{c}=T_{w2c}\omega$ ， $p_c$ 将 $\omega$ 从世界坐标系转换到相机坐标系下，

$\mu=\left\{\begin{matrix}p_c[0]/p_c[2] \\ p_c[1]/p_c[2] \\ \left \| p_c \right \| \end{matrix}\right.$

这里3D高斯球的表示是通过一个旋转R和一个缩放矩阵S的乘积表示的，即 $\Sigma=RS\Lambda S^TR^T=RSS^TR^T$ ,这么表示的原理是协方差是一个椭球，标准正态分布是一个圆，椭球就是将这个圆进行旋转缩放变成的。 $\Lambda$ 是标准正态分布的协方差，它是一个单位矩阵，所以可以省略。