0. 简介
最近深度学习SLAM又出来一个分支，3D gaussion splatting做slam的操作，之前我们给读者讲过如何使用C++做3D高斯溅射。这里最近受到优刻得的使用邀请，正好解决了我在大模型和自动驾驶行业对GPU的使用需求。UCloud云计算旗下的Compshare的GPU算力云平台。他们提供高性价比的4090 GPU，按时收费每卡2.6元，月卡只需要1.7元每小时，并附带200G的免费磁盘空间。暂时已经满足我的使用需求了，同时支持访问加速，独立IP等功能，能够更快的完成项目搭建。
而且在使用后可以写对应的博客，可以完成500元的赠金，完全可以满足个人对GPU的需求。
对应的环境搭建已经在《如何使用共享GPU平台搭建LLAMA3环境（LLaMA-Factory）》、从BEVDET来学习如何生成trt以及如何去写这些C++内容介绍过了。对于自定义的无论是LibTorch还是CUDA这些都在《Ubuntu20.04安装LibTorch并完成高斯溅射环境搭建》这篇文章提到过了。《RGBD GS-ICP SLAM》是最新开源的一个3DGS-SLAM工作，通过利用GICP来实现当前帧gaussian与已mapping的gaussian进行匹配进行位姿的估算，并通过关键帧的选择策略来进一步提升performance。我们既然要改动这部分代码，那首先就是要先将对应的代码跑通。《实验笔记之——RGBD GS-ICP SLAM配置与测试》一文中有详细的步骤，但是我在使用的时候发现总会出现pcl找到后和vtk关联出现问题。而且pcl版本是anaconda的python版本环境，这里我们更希望使用我们自行安装的版本。
这一章节我们来看一下怎么在平台上运行RGBD-GS-ICP-SLAM项目的。同时作者因为以上原因，对代码进行了一定的调整和改动。相关注释以及适配代码在https://github.com/lovelyyoshino/RGBD-GS-ICP-SLAM-Comment。这里作者提供了对整个项目的代码注释，以及ROS改编欢迎尝试。
这里我们安装的环境为
ROS noetic
Pangolin-0.6
gflags 2.2.2
glog 0.4.0
eigen 3.3.7
ceres-solver 1.14.0
vtk 9.2.0
pcl 1.13.0
Sophus a621ff
1. 环境配置
1.1 环境配置
conda create -n gsicpslam python==3.9
conda activate gsicpslam
conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.8 -c pytorch -c nvidia
pip install -r requirements.txt# 安装pcl, 暂时不需要
# pip install pcl
# conda config --add channels conda-forge
# conda install -c sirokujira python-pcl
此外，PCL 需要用于 fast-gicp 子模块。下面安装子模块
cd submodules/git clone https://github.com/Lab-of-AI-and-Robotics/diff-gaussian-rasterization.gitgit clone https://github.com/Lab-of-AI-and-Robotics/fast_gicp.gitgit clone https://github.com/camenduru/simple-knn.git# 然后执行下面代码
conda activate gsicpslam
pip install submodules/diff-gaussian-rasterization
pip install submodules/simple-knncd submodules/fast_gicp
mkdir build
cd build
cmake ..
make -j8
cd ..
python setup.py install --user
1.2 数据集
- Replica
-
下载
bash download_replica.sh -
配置
请修改目录结构如下。
原始结构
Replica- room0- results (包含 rgbd 图像)- frame000000.jpg- depth000000.jpg...- traj.txt...我们的结构
Replica- room0- images (包含 rgb 图像)- frame000000.jpg...- depth_images (包含深度图像)- depth000000.jpg...- traj.txt...
-
- TUM-RGBD
- 下载
bash download_tum.sh
- 下载
1.3 运行
- 限制到 30 FPS
# Replica bash replica.sh # TUM bash tum.sh - 不限制跟踪速度
# Replica bash replica_unlimit.sh # TUM bash tum_unlimit.sh
1.4 安装 SIBR Viewer
##如果提示/usr/bin/ld: cannot find -lXxf86vm
#sudo apt-get install libxxf86vm-dev#如果没有安装embree的GPU加速
git clone https://github.com/embree/embree.git
mkdir embress/build
cd embree
git checkout v3.1.0
mkdir build
cmake -DCMAKE_INSTALL_PREFIX=/usr \-DEMBREE_TUTORIALS=OFF \-DEMBREE_ISPC_SUPPORT=OFF \-DEMBREE_TASKING_SYSTEM=OFF ..
make -j8
sudo make installcd SIBR_viewers
cmake -Bbuild . -DCMAKE_BUILD_TYPE=Release
cmake --build build -j24 --target install
1.5 实时演示
1.5.1 使用 rerun.io viewer
Rerun viewer 显示可跟踪的高斯模型均值，以及从重建的 3DGS 地图渲染的图像。
python -W ignore gs_icp_slam.py --rerun_viewer
1.5.2 使用 SIBR viewer
python -W ignore gs_icp_slam.py --dataset_path dataset/Replica/office0 --verbose# 在另一个终端
cd SIBR_viewers
./install/bin/SIBR_remoteGaussian_app --rendering-size 1280 720
2. 在运行时候遇到的一些问题
2.1 无法pip install 安装diff-gaussian-rasterization
这个主要问题在于我们ubuntu20安装的3.9时候，setuptools版本太高导致，这里是我们尝试ok的版本
pip install setuptools==69.5.1
2.1 安装conda后无法编译fast-gicp
在安装fast-gicp的时候发现找不到vtk，但是我们实际是有安装vtk的。这里我们需要指定固定位置，因为默认找的是conda位置下的pcl，这个在配置的时候存在冲突，我们可以直接找到本地可以使用的pcl，也不需要使用python-pcl完成安装了
具体修改如下：
2.3 SIBR_viewers配置
由于我们自带的ros版本是4.2的ros版本，所以我们需要修改cmake里面的配置
修改的路径如下，将4.5版本给修改掉，作者尝试Opencv 4.2编译也是没有问题的
3. 实际运行
在实际运行时候还会发现一个问题，即GLIBCXX版本不新，需要额外更新
然后输入下面指令找到
sudo find / -name "libstdc++.so.6*"
strings /home/ld/anaconda3/lib/libstdc++.so.6.0.29 |grep GLIBCXX
可以看到有需要的版本，接下来就是建立新的链接到这个文件上
ranhou复制到指定目录并建立新的链接
sudo cp /home/xxx/anaconda3/envs/tf2/lib/libstdc++.so.6.0.29 /usr/lib/x86_64-linux-gnu/
sudo mv /usr/lib/x86_64-linux-gnu/libstdc++.so.6 /usr/lib/x86_64-linux-gnu/libstdc++.so.6-origin
sudo ln -s /usr/lib/x86_64-linux-gnu/libstdc++.so.6.0.29 /usr/lib/x86_64-linux-gnu/libstdc++.so.6
之后程序一般是能够成功运行的。有时候由于权限问题，我们需要查看它们的权限
ll /usr/lib/x86_64-linux-gnu/libstd*
