自编译支持CUDA硬解的OPENCV和FFMPEG

1 整体思路

查阅opencv的官方文档，可看到有个cudacodec扩展，用他可方便的进行编解码。唯一麻烦的是需要自行编译opencv。
同时，为了考虑后续方便，顺手编译了FFMPEG，并将其与OPENCV绑定。
在之前的博文“鲲鹏主机+昇腾Atlas 300I Pro+龙蜥8.6 全国产化主机使用NPU推理YoloV5环境安装全过程”中已经干过一次了，类似的来搞一把。

2 准备环境

2.1 安装CMake

同之前的博文,CMake官网下载后安装

./cmake-3.29.0-rc4-linux-aarch64.sh --skip-license --prefix=/usr

2.2 安装nv-codec-headers（可选）

如果不需要FFMPEG，可以无视这步。
注意他对CUDA版本和驱动版本的依赖。所以需要根据本机版本选择合适的分支。
官网传送门

以笔者本机为例,可见驱动版本为510.39.01,CUDA版本为11.6：

$ nvidia-smi 
Mon Apr 15 01:30:12 2024       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 510.39.01    Driver Version: 510.39.01    CUDA Version: 11.6     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla T4            On   | 00000000:01:00.0 Off |                    0 |
| N/A   54C    P0    28W /  70W |    303MiB / 15360MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------++-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A   1492699      C   /usr/local/bin/ollama             301MiB |
+-----------------------------------------------------------------------------+

那么选择11.1版本是合适的。同时Video Codec SDK的版本为11.1.5。

在这里插入图片描述
安装比较简单，常规的make && make install 即可。

2.3 安装Nvidia Codec SDK

官网传送门在此

注意他对CUDA版本和驱动版本的依赖，以及nv-codec-headers 对他版本的依赖。因此不能无脑下最新的，需要由此寻找合适的历史版本。
下载完的压缩包中的Read_Me.pdf中有详细的版本要求介绍，也可以根据nv-codec-headers里要求的版本型号进行处理。（应当是一致的）

在这里插入图片描述
解压后，将Interface目录下的头文件，拷贝到你的CUDA安装目录即可，默认路径为/usr/local/cuda/include。千万不要去理那些动态库，那个是配套他的测试DEMO编译用的，可以不用管。

2.4 签出opencv和opencv-contrib

统一使用最近的4.9.0的tag

export GIT_SSL_NO_VERIFY=true
git clone https://github.com/opencv/opencv.git
cd opencv
git checkout 4.9.0
cd ..
git clone https://github.com/opencv/opencv_contrib.git
git checkout 4.9.0
cd ..

3 编译安装

3.1 FFMPEG

可以直接用Video Codec SDK里面配套的FFMPEG 4.4，避免不必要的麻烦

cd Video_Codec_SDK_11.1.5/Samples/External/FFmpeg/src
unzip ffmpeg-4.4.zip
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:${PKG_CONFIG_PATH}
./configure --enable-shared --enable-pic --enable-cuda --enable-cuvid --enable-nvenc --enable-nvdec --enable-nonfree --enable-libnpp --extra-cflags=-I/usr/local/cuda/include/ --extra-ldflags=-L/usr/local/cuda/lib64/
make && make install

测试转码，如果没啥报错且文件可用，就表示OK了。

ffmpeg -c:v h264_cuvid -i old.mp4 -c:v h264_nvenc new.mp4

3.2 编译OPENCV

在编译之前，需要先查阅Nvidia官网获得你的cuda_arch_bin版本。以笔者本机为例。Tesla T4的数值为7.5。
在这里插入图片描述

cd opencv
mkdir build
cd build
cmake -D WITH_FFMPEG=ON \
-D FFMPEG_INCLUDE_DIRS=/usr/local/include \
-D FFMPEG_LIBRARIES="/usr/local/lib/libavcodec.so;/usr/local/lib/libavformat.so;/usr/local/lib/libavutil.so;/usr/local/lib/libswscale.so;/usr/local/lib/libswresample.so" \
-D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib/modules \
-D WITH_CUDA=ON -D WITH_CUDACODEC=ON \
-D CUDA_ARCH_BIN=7.5 \
-D BUILD_opencv_python3=yes -D BUILD_opencv_python2=no \
-D PYTHON3_EXECUTABLE=/root/miniconda3/bin/python3.11 \
-D PYTHON3_INCLUDE_DIR=/root/miniconda3/include/python3.11/ \
-D PYTHON3_LIBRARY=/root/miniconda3/lib/libpython3.11.so \
-D PYTHON3_NUMPY_INCLUDE_DIRS=/root/miniconda3/lib/python3.11/site-packages/numpy/core/include/ -D PYTHON3_PACKAGES_PATH=/root/miniconda3/lib/python3.11/site-packages \
-D PYTHON3_DEFAULT_EXECUTABLE=/root/miniconda3/bin/python3.11 \
..
make 
make install

如果需要图形化交互，还需要准备一些系统库

yum install gtk2-devel

4 代码示例

import cv2if __name__ == '__main__':rtsp_url = 'rtsp://admin:123456@192.168.1.100/'decoder = cv2.cudacodec.createVideoReader(rtsp_url)#不设置的化默认是BGRA，为了方便后续处理，指定为BGRdecoder.set(cv2.cudacodec.COLOR_FORMAT_BGR)count = 0while True:ret,gpu_frame = decoder.nextFrame()if ret :frame = gpu_frame.download()if count == 0 :cv2.imwrite('test_img.bmp', frame)frame_queue.append(np.array(frame[:, :, ::-1]))count += 1