docker中使用GPU+rocksdb

配置环境

 dell@dell-Precision-3630-Tower  ~  lsb_release -a
No LSB modules are available.
Distributor ID:	Ubuntu
Description:	Ubuntu 20.04.6 LTS
Release:	20.04
Codename:	focaldell@dell-Precision-3630-Tower  ~  nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Wed_Sep_21_10:33:58_PDT_2022
Cuda compilation tools, release 11.8, V11.8.89
Build cuda_11.8.r11.8/compiler.31833905_0dell@dell-Precision-3630-Tower  ~  docker version
Client: Docker Engine - CommunityVersion:           24.0.6API version:       1.43Go version:        go1.20.7OS/Arch:           linux/amd64Context:           defaultServer: Docker Engine - CommunityEngine:Version:          24.0.6API version:      1.43 (minimum version 1.12)Go version:       go1.20.7OS/Arch:          linux/amd64Experimental:     falsecontainerd:Version:          1.6.24runc:Version:          1.1.9docker-init:Version:          0.19.0#安装方式：sudo apt-get install libcudnn8-dev=8.9.2.26-1+cuda11.8
cudnn:libcudnn8-dev=8.9.2.26-1+cuda11.8

目录结构

请添加图片描述

nvidia-docker和从docker 19开始提供的nvidia-container-toolkit的区别：

nvidia-docker

  • 概述：nvidia-docker 是最初用于在 Docker 容器中提供 GPU 支持的工具。
  • 命令：nvidia-docker 具有自己的命令行工具，并且最初被设计为 docker 命令的替代品。你可以用 nvidia-docker run 来启动一个使用 GPU 的容器。
  • 插件：nvidia-docker 版本 1 和 2 都使用了 Docker 插件系统。版本 2 是 Docker 插件的一种形式，允许用户使用 --runtime=nvidia 标志与标准 docker 命令一起使用。

nvidia-container-toolkit

  • 概述：在 Docker 19.03 版本之后，Docker 引入了一个名为 GPU 的设备请求特性。nvidia-container-toolkit 是一个新的工具，允许用户使用这个新特性，而不再需要 nvidia-docker 的自定义运行时。
  • 命令：与使用 nvidia-docker 不同，使用 nvidia-container-toolkit，你可以使用常规的 docker 命令，但是添加一个 --gpus 参数来启用 GPU 支持。例如：docker run --gpus all nvidia/cuda:10.0-base nvidia-smi。
  • 集成：它更紧密地集成到 Docker CLI 中，允许更好的兼容性和使用体验。

比较和推荐使用

  • nvidia-docker 版本 1 已经弃用，而版本 2 在某些用例中仍然被使用，但逐渐被 nvidia-container-toolkit 替代。
  • 对于 Docker 19.03 及更高版本，官方推荐使用 nvidia-container-toolkit，因为它提供了一个更简洁和标准的方式来在容器中使用 GPU。
  • 使用 nvidia-container-toolkit 允许开发者和运维团队在不更改工作流的情况下，简单地将 GPU 支持添加到他们现有的 Docker 容器中。
  • 尽管在一些老的代码和项目中你仍然可能会看到 nvidia-docker 的使用，但新的项目和开发通常应该使用 nvidia-container-toolkit，除非有明确的理由不这样做。

docker安装GPU工具箱nvidia-container-toolkit

参考链接：

https://zhuanlan.zhihu.com/p/544713249

sudo apt install curl
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker

docker拉取含cuda的镜像建立镜像

去Nvidia官网下载cuda版本的Docker：https://hub.docker.com/r/nvidia/cuda

images包含的三种风格：

  • base: Includes the CUDA runtime (cudart)

  • runtime: Builds on the base and includes the CUDA math libraries, and NCCL. A runtime image that also includes cuDNN is available.

  • devel: Builds on the runtime and includes headers, development tools for building CUDA images. These images are particularly useful for multi-stage builds.

  • NVIDIA Container Toolkit

The NVIDIA Container Toolkit for Docker is required to run CUDA images.

For CUDA 10.0, nvidia-docker2 (v2.1.0) or greater is recommended. It is also recommended to use Docker 19.03.

还是自己写一个镜像吧，该镜像拥有cudn，rocksdb环境

# from official ubuntu 20.04
# FROM ubuntu:20.04
# docker pull nvidia/cuda:11.8.0-devel-ubuntu20.04
FROM nvidia/cuda:11.8.0-devel-ubuntu20.04# RUN mv /etc/apt/sources.list /etc/apt/sources_backup.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal main restricted " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal-updates main restricted " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal universe " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal-updates universe " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal multiverse " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal-updates multiverse " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal-backports main restricted universe multiverse " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal-security main restricted " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal-security universe " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal-security multiverse " >> /etc/apt/sources.list && \
# echo "deb http://archive.canonical.com/ubuntu focal partner " >> /etc/apt/sources.list
# update system
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo 'Asia/Shanghai' >/etc/timezone \ && apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/3bf863cc.pub \&& apt clean && apt update && apt install -yq --no-install-recommends sudo \&& sudo apt install -yq --no-install-recommends python3 python3-pip libgl1-mesa-glx libglib2.0-0 libsm6 libxext6 libxrender-dev openssh-server \&& sudo pip3 install --upgrade pip \&& sudo pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple \&& sudo pip3 install setuptoolsRUN apt-get update && apt-get upgrade -y
# install basic tools
RUN apt-get install -y vim wget curl
# install tzdata noninteractive
RUN DEBIAN_FRONTEND=noninteractive TZ=Etc/UTC apt-get -y install tzdata
# install git and default compilers
RUN apt-get install -y git gcc g++ clang clang-tools
# install basic package
RUN apt-get install -y lsb-release software-properties-common gnupg
# install gflags, tbb
RUN apt-get install -y libgflags-dev libtbb-dev
# install compression libs
RUN apt-get install -y libsnappy-dev zlib1g-dev libbz2-dev liblz4-dev libzstd-dev
# install cmake
RUN apt-get install -y cmake
RUN apt-get install -y libssl-dev
# install clang-13
WORKDIR /root
RUN wget https://apt.llvm.org/llvm.sh
RUN chmod +x llvm.sh
RUN ./llvm.sh 13 all
# install gcc-7, 8, 10, 11, default is 9
RUN apt-get install -y gcc-7 g++-7
RUN apt-get install -y gcc-8 g++-8
RUN apt-get install -y gcc-10 g++-10
RUN echo "deb https://ppa.launchpadcontent.net/ubuntu-toolchain-r/test/ubuntu focal main" |tee -a /etc/apt/sources.list
RUN echo "deb-src https://ppa.launchpadcontent.net/ubuntu-toolchain-r/test/ubuntu focal main" |tee -a /etc/apt/sources.list
RUN curl -sL "http://keyserver.ubuntu.com/pks/lookup?op=get&search=0x60C317803A41BA51845E371A1E9377A2BA9EF27F" |apt-key add
#RUN apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 60C317803A41BA51845E371A1E9377A2BA9EF27F
RUN add-apt-repository -y ppa:ubuntu-toolchain-r/test
RUN apt-get update && apt-get upgrade -y
#RUN apt-get install -y gcc-11 g++-11
# install apt-get install -y valgrind
RUN apt-get install -y valgrind
# install folly depencencies
RUN apt-get install -y libgoogle-glog-dev
# install openjdk 8
RUN apt-get install -y openjdk-8-jdk
ENV JAVA_HOME /usr/lib/jvm/java-1.8.0-openjdk-amd64
# install mingw
RUN apt-get install -y mingw-w64# install gtest-parallel package
RUN git clone --single-branch --branch master --depth 1 https://github.com/google/gtest-parallel.git ~/gtest-parallel
ENV PATH $PATH:/root/gtest-parallel# install libprotobuf for fuzzers test
RUN apt-get install -y ninja-build binutils liblzma-dev libz-dev pkg-config autoconf libtool
#解决GnuTLS recv error
RUN apt-get update
RUN apt-get upgrade
RUN apt-get install --reinstall ca-certificates
RUN git clone --branch v1.0 https://github.com/google/libprotobuf-mutator.git ~/libprotobuf-mutator && cd ~/libprotobuf-mutator && git checkout ffd86a32874e5c08a143019aad1aaf0907294c9f && mkdir build && cd build && cmake .. -GNinja -DCMAKE_C_COMPILER=clang-13 -DCMAKE_CXX_COMPILER=clang++-13 -DCMAKE_BUILD_TYPE=Release -DLIB_PROTO_MUTATOR_DOWNLOAD_PROTOBUF=ON && ninja && ninja install
ENV PKG_CONFIG_PATH /usr/local/OFF/:/root/libprotobuf-mutator/build/external.protobuf/lib/pkgconfig/
ENV PROTOC_BIN /root/libprotobuf-mutator/build/external.protobuf/bin/protoc#install the latest google benchmark
RUN git clone --depth 1 --branch v1.7.0 https://github.com/google/benchmark.git ~/benchmark
RUN cd ~/benchmark && mkdir build && cd build && cmake .. -GNinja -DCMAKE_BUILD_TYPE=Release -DBENCHMARK_ENABLE_GTEST_TESTS=0 && ninja && ninja install# # clean up
# RUN rm -rf /var/lib/apt/lists/*
# RUN rm -rf /root/benchmark

#以下为build-image.sh
#!/usr/bin/env bashSHELL_HOME=$(cd "$(dirname "$0")" || exitpwd
)
source "${SHELL_HOME}/../dev.conf"# docker build --build-arg \
#   --build-arg http_proxy= xxx\
#   --build-arg https_proxy= xxx\
#   --build-arg all_proxy=socks5 \
#   --tag "${IMAGE_NAME}:${IMAGE_VERSION}" "${SHELL_HOME}"docker build --tag "${IMAGE_NAME}:${IMAGE_VERSION}" "${SHELL_HOME}"

运行容器

参考链接：https://blog.csdn.net/Maid_Li/article/details/124952650

在启动docker容器的时候要注意加一些cuda的参数

  • --gpus all和-e NVIDIA_VISIBLE_DEVICES=all选择这个容器可见的显卡，直接全部就完事了
  • -e NVIDIA_DRIVER_CAPABILITIES=compute,utility配置了一些cuda必备的包如nvidia-smi之类的
  • 以下为start.sh
#!/usr/bin/env bash#当前脚本路径
SHELL_HOME=$(cd "$(dirname "$0")" || exitpwd
)
source "${SHELL_HOME}"/../dev.conf
source "${SHELL_HOME}"/utilities/rocks.confCONTAINER_NAME="rocksdb-gpu"# work dir inside the dev container
SOURCE_DIR_INSIDE="/home/baum/GPU_ROCKS"
#本地源代码目录 
SOURCE_DIR="/nvme/baum/git-project/GPU_ROCKS"
WORK_DIR=/rocks
RECREATE_CONTAINER=""#我执行的./start.sh -s /nvme/baum/git-project/GPU_ROCKS
function show_usage() {echo "Start a gdb container for Rocksdb.Usage:./start.sh./start.sh -s /path/to/your/cockroachdb/homeOptions:-s                Project path of crdb, default is '${HOME}/go/src/github.com/cockroachdb'.-r                Recreate the dev container.-h                Show this message."exit
}while getopts "s:hr" opt; docase $opt ins)SOURCE_DIR=${OPTARG};;r)RECREATE_CONTAINER="true";;h)show_usage;;*)show_usage;;esac
doneCONTAINER_RUNNING=$(docker container ls | grep "${CONTAINER_NAME}")
CONTAINER_EXISTED=$(docker container ls -a | grep "${CONTAINER_NAME}")if [[ ${RECREATE_CONTAINER} == "true" && -n ${CONTAINER_EXISTED} ]]; thenecho "remove the existing rocksdb-gpu container ..."docker rm -f "${CONTAINER_NAME}"CONTAINER_EXISTED=""
fiecho "current SOURCE_DIR is '${SOURCE_DIR}'"if [[ -z ${CONTAINER_EXISTED} ]]; thenecho "staring the rocksdb-gpu environment 1 ..."#-v 挂载目录，将前一个映射到后一个docker run -it -v "${SOURCE_DIR}":/rocks \-v "${SOURCE_DIR}":${SOURCE_DIR_INSIDE} \--name ${CONTAINER_NAME} \--publish "${ROCKS_PORT}"-"${GDB_PORT}":"${ROCKS_PORT}"-"${GDB_PORT}" \--network=rocksdb-br \--gpus all \-e NVIDIA_DRIVER_CAPABILITIES=compute,utility \-e NVIDIA_VISIBLE_DEVICES=all \--workdir ${WORK_DIR} \"${IMAGE_NAME}:${IMAGE_VERSION}" \bashexit
fiif [[ -z ${CONTAINER_RUNNING} ]]; thenecho "starting rocksdb-gpu environment 2 ..."docker start "${CONTAINER_NAME}"
fiecho "logging into rocksdb-gpu environment '${CONTAINER_NAME}' ..."
docker exec -it "${CONTAINER_NAME}" bash

网络配置

本地16017-16019映射到容器16017-16019

#init-docker-network.sh
#!/usr/bin/env bashSHELL_HOME=$(cd "$(dirname "$0")" || exitpwd
)
source "${SHELL_HOME}"/dev.confecho "create network bridge for rocks ..."
docker network create --subnet="${SUBNET}" "${BRIDGE_NAME}"
docker network list

参考链接：

https://github.com/cnstark/pytorch-docker/blob/main/scripts/build_2.0.1_py3.9.17_cuda11.8.0_devel_ubuntu20.04.sh

https://zhuanlan.zhihu.com/p/544713249

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/161357.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Aroid问题笔记 - ViewPager嵌套RecyclerView，降低ViewPager灵敏度

Aroid问题笔记 - ViewPager嵌套RecyclerView，降低ViewPager灵敏度

点击跳转>Unity3D特效百例点击跳转>案例项目实战源码点击跳转>游戏脚本-辅助自动化点击跳转>Android控件全解手册点击跳转>Scratch编程案例点击跳转>软考全系列 👉关于作者 专注于Android/Unity和各种游戏开发技巧，以及各种资源分享&…
阅读更多...
力扣：133. 克隆图（Python3）

力扣：133. 克隆图（Python3）

题目： 给你无向连通图中一个节点的引用，请你返回该图的深拷贝（克隆）。 图中的每个节点都包含它的值 val（int） 和其邻居的列表（list[Node]）。 class Node {public int val;public Lis…
阅读更多...
高程DEM-等高线生成-AutoCAD等高线

高程DEM-等高线生成-AutoCAD等高线

高程DEM-等高线生成-AutoCAD等高线 发布时间：2018-01-17 版权： 同步视频教程：卫星地图_高清卫星地图_卫星地图视频_下载高程等高线使用视频教程 专题地图制作视频教程：卫星地图_高清卫星地图_卫星地图视频_地图数据应用&#xf…
阅读更多...
【14】基础知识：React - redux

【14】基础知识：React - redux

一、 redux理解 1、学习文档 英文文档：https://redux.js.org/ 中文文档：http://www.redux.org.cn/ Github: https://github.com/reactjs/redux 2、redux是什么 redux 是一个专门用于做状态管理的 JS 库(不是 react 插件库)。 它可以用在 react&am…
阅读更多...
Unity2023, Unity2022, Unity2021的性能对比（帧率）

Unity2023, Unity2022, Unity2021的性能对比（帧率）

最近由于需要用到Unity最新版的一些功能，比如Spline，比如Foward渲染，新项目用了Unity2022.3.5版本，但是出包之后，感觉帧率很低。本着好奇的态度，专门写了一个测试场景，分别在Unity2023.1.15&…
阅读更多...
【数据仓库】hadoop生态圈与数据仓库

【数据仓库】hadoop生态圈与数据仓库

文章目录 1.大数据定义2. Hadoop与数据仓库3. 关系数据库的可扩展性瓶颈4. CAP理论5. Hadoop数据仓库工具5.1. RDS和TDS5.2. 抽取过程5.3. 转换与装载过程5.4. 过程管理和自动化调度5.5．数据目录（或者称为元数据管理）5.6．查询引擎…
阅读更多...
【灵动 Mini-G0001开发板】+Keil5开发环境搭建+ST-Link/V2程序下载和仿真+4颗LED100ms闪烁。

【灵动 Mini-G0001开发板】+Keil5开发环境搭建+ST-Link/V2程序下载和仿真+4颗LED100ms闪烁。

我们拿到手里的是【灵动 Mini-G0001开发板】 如下图 我们去官网下载开发板对应资料MM32G0001官网 我们需要下载Mini—G0001开发板的库函数与例程（第一手学习资料）Keil支持包， PCB文件有需要的，可以自行下载。用户指南需要下载&a…
阅读更多...
阿里云starrocks监控告发至钉钉群

阿里云starrocks监控告发至钉钉群

背景：新入职一家公司，现场没有对sr的进行监控，根据开发的需求编写了一个python脚本。 脚本逻辑：抓取sr的be/fe/routine load状态信息，判读是否触发告警，若满足告警条件，则发送告警信息到钉钉群…
阅读更多...
RTSP/Onvif安防视频平台EasyNVR级联至EasyNVS系统不显示通道，是什么原因？

RTSP/Onvif安防视频平台EasyNVR级联至EasyNVS系统不显示通道，是什么原因？

视频安防监控平台EasyNVR可支持设备通过RTSP/Onvif协议接入，并能对接入的视频流进行处理与多端分发，包括RTSP、RTMP、HTTP-FLV、WS-FLV、HLS、WebRTC等多种格式。 我们在此前的文章中也介绍过关于EasyNVR级联EasyNVS上云网关综合管理平台的内容&#xff…
阅读更多...
2023年Q3季度国内手机大盘销额下滑2%，TOP品牌销售数据分析

2023年Q3季度国内手机大盘销额下滑2%，TOP品牌销售数据分析

根据Canalys机构发布的最新报告，2023年第三季度，全球智能手机市场出货量仅下跌1%，可以认为目前全球手机市场的下滑势头有所减缓。而国内线上市场的表现也类似。 根据鲸参谋数据显示，今年Q3京东平台手机累计销量约1100万件&#xf…
阅读更多...
hanniman 1v1 咨询

hanniman 1v1 咨询

‍ 一共4种可选方案，3个To C（面向AI产品经理的职业规划诊断、求职内推套餐、模拟面试），1个To B（面向AI企业/投资机构/券商等）。 方案A：职业规划诊断 适合人群：AI产品经理 or 想转型A…
阅读更多...
AWS香港Web3方案日，防御云安全实践案例受关注

AWS香港Web3方案日，防御云安全实践案例受关注

9月26日，AWS合作伙伴之Web3解决方案日在香港举办。来自人工智能、Web3等领域的创业公司、技术专家、风险投资商，就元宇宙时代未来发展进行了深入交流。现场展示了顶象防御云在金融与Web3领域的安全实践案例。 Web3为互联网体系架构的一个整体演进和升级&…
阅读更多...
10种新型网络安全威胁和攻击手法

10种新型网络安全威胁和攻击手法

2023年，网络威胁领域呈现出一些新的发展趋势，攻击类型趋于多样化，例如：从MOVEit攻击可以看出勒索攻击者开始抛弃基于加密的勒索软件，转向窃取数据进行勒索；同时，攻击者们还减少了对传统恶意软件…
阅读更多...
【Linux】文件IO基础知识——上篇

【Linux】文件IO基础知识——上篇

目录 前文 一， 系统级——文件操作接口 a. open b. close c. write d. read 二，接口理解 那文件描述符——fd是什么呢？ 三，文件描述符分配规则 原理 四，重定向——dup2 简易shell——重定向 五&#xff0c…
阅读更多...
【微信小程序】6天精准入门（第3天：小程序flex布局、轮播图组件及mock运用以及综合案例）附源码

【微信小程序】6天精准入门（第3天：小程序flex布局、轮播图组件及mock运用以及综合案例）附源码

一、flex布局 布局的传统解决方案，基于[盒状模型]，依赖display属性 position属性 float属性 1、什么是flex布局？ Flex是Flexible Box的缩写，意为”弹性布局”，用来为盒状模型提供最大的灵活性。任何一个容器都可以…
阅读更多...
Macos数据库管理：Navicat Premium 中文

Macos数据库管理：Navicat Premium 中文

Navicat Premium提供了直观且易用的图形用户界面，使得操作更为便捷。Navicat Premium 中文支持多种数据库系统，如MySQL、MariaDB、Oracle、SQLite、PostgreSQL等，可以让用户在同一平台上管理不同类型的数据库。Navicat Premium拥有强大的数据…
阅读更多...
3分钟了解 egg.js

3分钟了解 egg.js

Eggjs是什么？ Eggjs是一个基于Koajs的框架，所以它应当属于框架之上的框架，它继承了Koajs的高性能优点，同时又加入了一些约束与开发规范，来规避Koajs框架本身的开发自由度太高的问题。 Koajs是一个nodejs中比较基层的…
阅读更多...
基于单片机智能汽车仪表设计系统

基于单片机智能汽车仪表设计系统

基于单片机的汽车智能仪表的设计 摘要：汽车的汽车系统。速度测量以及调速是我们这次的设计所要研究的对象，本次设计的基础核心的模块就是单片机，其应用的核心的控制单元就是stc89c52单片机，用到的测速模块是霍尔传感器&#xff0c…
阅读更多...
智能垃圾桶丨悦享便捷生活

智能垃圾桶丨悦享便捷生活

垃圾桶是人们日常生活所必不可少的必需品，它让生活中所产生的垃圾有了一个正确的存放地方。随着生产技术的迅速发展，垃圾桶也得以更新换代。由最初的简单式的圆筒式垃圾桶，到现在出现的感应式垃圾桶、智能语音控制垃圾桶，垃圾桶也…
阅读更多...
JNDI-Injection-Exploit工具安装

JNDI-Injection-Exploit工具安装

从github上下载安装 git clone https://github.com/welk1n/JNDI-Injection-Exploit.git 打开 cd JNDI-Injection-Exploit 编译安装，Maven入门百科_maven中quickstart是什么意思-CSDN博客 mvn clean package -DskipTests 因为提示mvn错误，解决下…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发