在优云平台部署训练,加速训练。
关于UCloud(优刻得)旗下的compshare算力共享平台
UCloud(优刻得)是中国知名的中立云计算服务商,科创板上市,中国云计算第一股。
UCloud(优刻得)旗下的Compshare算力共享平台具有以下优点:
-
高性价比的算力资源:Compshare专注于提供高性价比的NVIDIA RTX 40系列资源,满足AI应用、模型推理/微调、科学计算等多场景需要。
-
100% GPU性能:通过GPU显卡直通技术,确保用户能够充分利用GPU的性能,相比传统容器形式,性能损耗降低了30%。
-
独立IP配备:每个Compshare实例都配备了独立的外网IP地址,使得服务器资源管理变得更加方便和灵活。
-
访问加速:支持对GitHub和Hugging Face等学术资源的访问加速,用户无需进行复杂的配置,即可快速拉取所需的学术资源。
-
灵活的配置选项:提供了多种GPU数量和配置的选项,从1GPU到8GPU不等,CPU内存从16C64GB到124C940GB,系统盘均为200GB的SSD云盘,网络为100MB的共享带宽。
-
定制化服务:对于有特殊需求的用户,Compshare还提供了1V1商务经理服务,可以定制包括A800、V100S、8卡4090等更多卡型,或者多台互通/集群需求的方案。
-
专业售后全天响应:加入官方技术支持社群,解决用户使用障碍,90秒内快速响应。
-
灵活计费方式:支持按时、按天、按月灵活计费,满足各类客户短期任务或者长期稳定项目的需求。
-
全球数据中心布局:UCloud在全球建立了30个数据中心,覆盖东南亚、欧洲、南美洲、北美洲、非洲等地理区域,为中国企业践行“一带一路”倡议、业务出海提供了多元化的选择和完善的服务。
-
自主研发与安全稳定:UCloud拥有12年技术沉淀,自主研发,安全稳定,提供100+款产品与服务,持续创新。
这些优点使得Compshare算力共享平台成为AI研究者和开发者的优选平台之一。
UniAD 首次将所有检测,跟踪,建图,轨迹预测,占据栅格预测与规划都包含进来,ALL IN ONE
本次使用它也是因为有体验,有教程,方便
自动驾驶系统可大致归为三类:
- 模块化:每个模型负责单独的子任务,优势在于易于调试迭代,但是解耦就会丢失最优性,各个模块的优化目标并不是以驾驶为最终目标,并且每个模块的误差会传递到之后的模块。
- 多任务模块:多任务范式利用一个共享的特征提取器来完成多个子任务,好处是节省计算成本,缺点在于不同任务之间可能会存在负面影响。
- 端到端:端到端范式以最终的驾驶性能为目标,具体又可以细分为两种范式:
3.1 隐式的端到端:以传感器数据作为输入,直接输出规划或者控制指令。这种范式的好处是较为简洁,缺点是缺乏可解释性,难以调式及迭代。
3.2显式端到端:是将多个模块囊括在端到端模型之中,每个模块有各自的输出,并且会将提取到的特征传递到下游任务。
复现第一天遇见问题,作者环境算CUDA11.1+ torch1.91版本,而我安装的CUDA12.1,导致后续版本都不一样,导致安装 mmcv-full、mmdet、mmsegmentation版本出错。
问题2:准备安装在docker里,但是docker换了很多源下载都很慢,可能文件较大,而且及时我复现了本机也不一定能跑,于是在云平台复现。
准备在云平台从新安装显卡驱动,cuda,cudnn和原作者适配的版本。
首先安装三件套 https://hermit.blog.csdn.net/article/details/139618350
下载数据集 可能涉及要传进云里 文件大于5G 果然需要额外下载存储工具,讲本地文件挂载到云上 https://docs.ucloud.cn/ufile/tools/us3fs/prepare
然后跟着官方dockerfile里本地安装安装完显卡驱动若nvidia-smi还是没有,则重启即可
wget https://developer.download.nvidia.com/compute/cuda/11.1.1/local_installers/cuda_11.1.1_455.32.00_linux.run
sudo sh cuda_11.1.1_455.32.00_linux.run注意sh的时候 在弹出的框中取消勾选,不需要再次安装显卡驱动,不然报错
结果GCC版本问题 太高了 报错
https://blog.csdn.net/yehe111/article/details/115370164
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 1 --slave /usr/bin/g++ g++ /usr/bin/g++-9
说明:里面的1 代表优先级,把gcc9 设置成1 代表gcc9 优先级更高然后添加CUDA环境变量 sudo gedit ~/.bashrc
apt-get update -q && \apt-get install -q -y \wget \python3.8-dev \python3-pip \-python3.8-tk \git \ninja-build \ffmpeg libsm6 libxext6 libglib2.0-0 libsm6 libxrender-dev libxext6 \&& apt-get clean \&& rm -rf /var/lib/apt/lists/*安装好了miniconda3 运行conda 报错conda: command not found 要source ~/.bashrc不能按照这个教程里的安装cuda和pytorch https://blog.csdn.net/lovely_yoshino/article/details/139867558
版本和论文作者的不对 要看dockerfile
pip install torch==1.9.1+cu111 torchvision==0.10.1+cu111 torchaudio==0.9.1 -f https://download.pytorch.org/whl/torch_stable.html我是python3.10 原文是3.8 不知会不会有问题??
要自己 新建data 下载数据集 放入或者软连接
Download nuScenes, CAN_bus and Map extensions
cd UniAD
mkdir data
#Download nuScenes V1.0 full dataset data directly to (or soft link to) UniAD/data/
#Download CAN_bus and Map(v1.3) extensions directly to (or soft link to) UniAD/data/nuscenes/Prepare Motion Anchors
cd UniAD/data
mkdir others && cd others
wget https://github.com/OpenDriveLab/UniAD/releases/download/v1.0/motion_anchor_infos_mode6.pkl使用优云智算平台 激励
https://iadagxzituk.feishu.cn/share/base/form/shrcnxWcOvNV6DSlLXwCw9NOUAc 报错module 'numpy.typing' has no attribute 'NDArray'
AttributeError: module 'numpy.typing' has no attribute 'NDArray'NumpyArray = npt.NDArray[Any]
更新numpy大于1.20print(torch.cuda.is_available())输出 false 但是nvcc -V可以输出版本