一、概述

本文档是针对imx6ull平台opencv的图像采集和显示屏LCD显示功能，opencv通过摄像头采集视频图像，将采集的视频图像送给显示屏LCD进行显示。

• 测试结果如下图所示：

二、环境要求

2.1 硬件环境

• 硬件：正点原子-I.MX6U ALPHA开发板
• 摄像头：正点原子-OV5640单目摄像头
• 显示屏：正点原子-4.3寸-800x480显示屏
• 虚拟机：VMware

2.2 软件环境

• Ubuntu系统要求：20.04
• opencv版本： 4.7.0
• 交叉工具链版本：交叉工具链版本：gcc-linaro-6.3.1-2017.05-x86_64_arm-linux-gnueabihf
• 开发语言： C++

注意： 其中，需要有OV5640单目摄像头和4.3寸-800x480显示屏的驱动。

三、开发流程

关于imx6ull平台下opencv的移植及交叉编译器环境请参看：基于imx6ull开发板 移植opencv4.7.0

3.1 编写测试

选择一个目录，我这里选择的是opencv_lcd_imx6ull，创建一个opencv_lcd.cpp文件，内容如下：

#include <opencv2/opencv.hpp>
#include <opencv2/videoio/videoio.hpp>
#include <opencv2/core/utils/logger.hpp>
#include <fcntl.h>
#include <unistd.h>
#include <sys/ioctl.h>
#include <linux/fb.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>/**** 静态全局变量 ****/
static int width;                       //LCD X分辨率
static int height;                      //LCD Y分辨率
static unsigned short *screen_base = NULL;        //映射后的显存基地址
static unsigned long line_length;       //LCD一行的长度（字节为单位）using namespace std;
using namespace cv;int main() {struct fb_fix_screeninfo fb_fix;struct fb_var_screeninfo fb_var;unsigned int screen_size;// 打开LCD设备int fb = open("/dev/fb0", O_RDWR);if (fb < 0) {perror("open fb0 failed");return -1;}/* 获取参数信息 */// 获取LCD屏幕信息if (ioctl(fb, FBIOGET_VSCREENINFO, &fb_var) < 0) {perror("ioctl FBIOGET_VSCREENINFO failed");return -1;}// 获取LCD帧缓冲区信息if (ioctl(fb, FBIOGET_FSCREENINFO, &fb_fix) < 0) {perror("ioctl FBIOGET_FSCREENINFO failed");return -1;}// 初始化OpenCVcv::utils::logging::setLogLevel(cv::utils::logging::LOG_LEVEL_SILENT);//括号内数字为1是调用usb摄像头，为0则是调用电脑自带摄像头cv::VideoCapture capture(1);unsigned short *screen_ptr = screen_base;// 设置摄像头的分辨率cv::Size resolution(800, 480);capture.set(cv::CAP_PROP_FRAME_WIDTH, resolution.width);capture.set(cv::CAP_PROP_FRAME_HEIGHT, resolution.height);// 加载预先训练好的人脸识别模型cv::CascadeClassifier faceCascade;faceCascade.load("haarcascade_frontalface_default.xml");// 将图像数据写入LCD屏幕screen_size = fb_fix.line_length * fb_var.yres;line_length = fb_fix.line_length;width = fb_var.xres;height = fb_var.yres;screen_base = mmap(NULL, screen_size, PROT_READ | PROT_WRITE, MAP_SHARED, fb, 0);if (MAP_FAILED == (void *)screen_base) {perror("mmap failed");return -1;}memset(screen_base, 0xFF, screen_size);unsigned short *fb_line_buf = NULL; //行缓冲区:用于存储写入到LCD显存的一行数据cv::Mat image;  //定义一个Mat变量，用于存储每一帧的图像capture >> image;  //读取当前帧printf("%d %d %d\r\n", image.cols, image.rows, image.channels());fb_line_buf = malloc(image.cols * 2);//【2】循环显示每一帧while(1)  {  // cv::Mat image;  //定义一个Mat变量，用于存储每一帧的图像capture >> image;  //读取当前帧// printf("%d %d %d\r\n", image.cols, image.rows, image.channels());screen_ptr = screen_base;if (image.empty()) continue; // 如果没有读取到帧，退出循环for (size_t y = 0; y < image.rows; y++){char* row_ptr = image.ptr<char>(y);for (size_t x = 0; x < image.cols; ++x) {//这是获得像素数据数组的头指针，注意像素数据可能会有多个通道所以才需要用数组存储char* data_ptr = &row_ptr[x * image.channels()];// //对当前像素逐个通道输出颜色值// for (int i = 0; i < image.channels(); ++i) {//     cout << int(data_ptr[i])<<endl;// }// BGR888转为RGB565fb_line_buf[x] = ((data_ptr[2] & 0xF8) << 8) |((data_ptr[1] & 0xFC) << 3) |((data_ptr[0] & 0xF8) >> 3);}memcpy(screen_ptr, fb_line_buf, image.cols * 2);//将一行数据刷入显存screen_ptr += width;   //定位到显存下一行}}  // 解除内存映射munmap(screen_base, screen_size);// 关闭LCD设备close(fb);return 0;
}

在opencv_lcd_imx6ull目录下，创建一个build_arm.sh文件，内容如下：

/tools/ToolsChain/nxp/imx6ull/gcc-linaro-6.3.1-2017.05-x86_64_arm-linux-gnueabihf/bin/arm-linux-gnueabihf-g++ opencv_lcd.cpp -o opencv_lcd \
-I /data/Workspace_Linux/software_lib/opencv-x.x.x/output/opencv-4.7.0/imx6ull/include/opencv4 \
-L /data/Workspace_Linux/software_lib/opencv-x.x.x/output/opencv-4.7.0/imx6ull/lib \
-lopencv_core -lopencv_highgui -lopencv_imgproc -lopencv_videoio -lopencv_imgcodecs -lopencv_face -lopencv_dnn  -lopencv_features2d -lopencv_flann -lopencv_calib3d -lopencv_objdetect \
-fpermissive

注意：

• 交叉工具链：/tools/ToolsChain/nxp/imx6ull/gcc-linaro-6.3.1-2017.05-x86_64_arm-linux-gnueabihf/bin/arm-linux-gnueabihf-g++；
• opencv头文件路径：/data/Workspace_Linux/software_lib/opencv-x.x.x/output/opencv-4.7.0/imx6ull/include/opencv4，开发者根据自己的路径进行配置；
• opencv库路径：/data/Workspace_Linux/software_lib/opencv-x.x.x/output/opencv-4.7.0/imx6ull/lib，开发者根据自己的路径进行配置。

3.2 验证功能

• 源码编译并上传
  在opencv_lcd_imx6ull目录下，将build_arm.sh文件更改成可执行文件，并运行如下图所示：

./build_arm.sh

进入imx6ull开发板的/mnt/test_opencv目录下（若没有改目录则创建该目录），创建opencv_lcd目录，如下图所示：

将opencv_lcd文件通过tfp上传到imx6ull开发板的/mnt/test_opencv/opencv_lcd目录下，如下图所示：

• opencv库上传到imx6ull开发板
  进入/data/Workspace_Linux/software_lib/opencv-x.x.x/output/opencv-4.7.0/imx6ull目录下，将opencv库相关的内容进行打包，如下图所示：
  
  进入imx6ull开发板的/mnt/test_opencv目录下（若没有改目录则创建该目录），创建opencv目录，如下图所示：
  
  将opencv.tar文件通过tfp上传到imx6ull开发板的/mnt/test_opencv/opencv目录下，如下图所示：
  
  进入imx6ull开发板的/mnt/test_opencv/opencv目录下，执行以下命令，将opencv.tar文件进行解压，如下图所示：

tar -xf opencv.tar

• opencv库配置环境搭建

执行以下命令进行opencv库环境配置，如下图所示：

export LD_LIBRARY_PATH=/mnt/test_opencv/opencv/lib:$LD_LIBRARY_PATH

• 运行应用程序

进入imx6ull开发板的/mnt/test_opencv/opencv_lcd目录下，更改opencv_lcd为可执行文件，并运行，运行结果如下：


最后，基于imx6ull平台opencv的图像采集和显示屏LCD显示功能验证完成了。