OpenCV使用 Kinect 和其他兼容 OpenNI 的深度传感器(75)

返回:OpenCV系列文章目录（持续更新中......）

上一篇:使用 OpenCV 创建视频(74)

下一篇 :OpenCV使用 Orbbec Astra 3D 相机(76)

目的：

通过 VideoCapture 类支持与 OpenNI 兼容的深度传感器（Kinect、XtionPRO 等）。深度图、BGR图像和一些其他格式的输出可以通过使用熟悉的VideoCapture界面进行检索。

为了将深度传感器与 OpenCV 一起使用，您应该执行以下初步步骤：

安装OpenNI库（从这里 Apple）和PrimeSensor模块（从这里 GitHub - avin2/SensorKinect: PrimeSensor Modules for OpenNI）。安装应对这些产品说明中列出的默认文件夹进行，例如：

OpenNI:Linux & MacOSX:Libs into: /usr/libIncludes into: /usr/include/niWindows:Libs into: c:/Program Files/OpenNI/LibIncludes into: c:/Program Files/OpenNI/Include
PrimeSensor Module:Linux & MacOSX:Bins into: /usr/binWindows:Bins into: c:/Program Files/Prime Sense/Sensor/Bin

如果一个或两个产品都安装到其他文件夹，则用户应更改相应的 CMake 变量 OPENNI_LIB_DIR、OPENNI_INCLUDE_DIR 或/和 OPENNI_PRIME_SENSOR_MODULE_BIN_DIR。
通过在 CMake 中设置 WITH_OPENNI 标志来配置支持 OpenNI 的 OpenCV。如果在安装文件夹中找到 OpenNI，则 OpenCV 将使用 OpenNI 库构建（请参阅 CMake 日志中的 OpenNI 状态），而找不到 PrimeSensor 模块（参见 CMake 日志中的 OpenNI PrimeSensor 模块状态）。如果没有PrimeSensor模块，OpenCV将使用OpenNI库成功编译，但VideoCapture对象不会从Kinect传感器抓取数据。
构建 OpenCV。

VideoCapture 可以检索以下数据：

深度生成器给出的数据：
- CAP_OPENNI_DEPTH_MAP - 深度值，单位为 mm （CV_16UC1）
- CAP_OPENNI_POINT_CLOUD_MAP - XYZ，单位为米（CV_32FC3）
- CAP_OPENNI_DISPARITY_MAP - 像素差异（CV_8UC1）
- CAP_OPENNI_DISPARITY_MAP_32F - 像素视差（CV_32FC1）
- CAP_OPENNI_VALID_DEPTH_MASK - 有效像素的遮罩（未遮挡、未阴影等）（CV_8UC1）
BGR 图像生成器给出的数据：
- CAP_OPENNI_BGR_IMAGE - 彩色图像（CV_8UC3）
- CAP_OPENNI_GRAY_IMAGE - 灰色图像（CV_8UC1）

为了从深度传感器获取深度图，请使用 VideoCapture：：operator >>，例如：

VideoCapture capture( CAP_OPENNI );
for(;;)
{Mat depthMap;capture >> depthMap;if( waitKey( 30 ) >= 0 )break;
}

要获取多个数据映射，请使用 VideoCapture::grab 和 VideoCapture::retrieve，例如：

VideoCapture capture(0); // or CAP_OPENNI
for(;;)
{Mat depthMap;Mat bgrImage;capture.grab();capture.retrieve( depthMap, CAP_OPENNI_DEPTH_MAP );capture.retrieve( bgrImage, CAP_OPENNI_BGR_IMAGE );if( waitKey( 30 ) >= 0 )break;
}

为了设置和获取传感器数据生成器的某些属性，请分别使用 VideoCapture::set 和 VideoCapture::get 方法，例如：

VideoCapture capture( CAP_OPENNI );
capture.set( CAP_OPENNI_IMAGE_GENERATOR_OUTPUT_MODE, CAP_OPENNI_VGA_30HZ );
cout << "FPS " << capture.get( CAP_OPENNI_IMAGE_GENERATOR+CAP_PROP_FPS ) << endl;

由于支持两种类型的传感器数据生成器（图像生成器和深度生成器），因此应使用两个标志来设置/获取所需生成器的属性：

CAP_OPENNI_IMAGE_GENERATOR – 用于访问图像生成器属性的标志。
CAP_OPENNI_DEPTH_GENERATOR – 用于访问深度生成器属性的标志。默认情况下，如果未设置属性的两个可能值，则假定此标志值。

某些深度传感器（例如XtionPRO）没有图像发生器。为了检查它，您可以获得CAP_OPENNI_IMAGE_GENERATOR_PRESENT财产

bool isImageGeneratorPresent = capture.get( CAP_PROP_OPENNI_IMAGE_GENERATOR_PRESENT ) != 0; // or == 1

指定所需生成器类型的标志必须与特定的生成器属性结合使用。支持通过OpenNI接口提供的相机的以下属性：

对于图像生成器：
- CAP_PROP_OPENNI_OUTPUT_MODE – 支持三种输出模式：默认使用CAP_OPENNI_VGA_30HZ（图像生成器以 30 FPS 返回 VGA 分辨率的图像）、CAP_OPENNI_SXGA_15HZ（图像生成器以 15 FPS 返回 SXGA 分辨率的图像）和 CAP_OPENNI_SXGA_30HZ（图像生成器以 30 FPS 返回 SXGA 分辨率的图像，该模式由XtionPRO Live支持）;深度发生器的地图始终采用 VGA 分辨率。
对于深度发生器：
- CAP_PROP_OPENNI_REGISTRATION – 通过更改深度生成器的视点（如果标志为“打开”）或将此视点设置为其正常视点（如果标志为“关闭”）来将重新映射深度图注册为图像图的标志。配准过程生成的图像是像素对齐的，这意味着图像中的每个像素都与深度图像中的像素对齐。
  
  接下来的属性仅供获取：
- CAP_PROP_OPENNI_FRAME_MAX_DEPTH – Kinect 的最大支持深度（以毫米为单位）。
- CAP_PROP_OPENNI_BASELINE – 基线值（毫米）。
- CAP_PROP_OPENNI_FOCAL_LENGTH – 以像素为单位的焦距。
- CAP_PROP_FRAME_WIDTH – 以像素为单位的帧宽。
- CAP_PROP_FRAME_HEIGHT – 以像素为单位的帧高。
- CAP_PROP_FPS – 帧速率（以 FPS 为单位）。
一些典型的标志组合“生成器类型 + 属性”被定义为单个标志：
- CAP_OPENNI_IMAGE_GENERATOR_OUTPUT_MODE = CAP_OPENNI_IMAGE_GENERATOR + CAP_PROP_OPENNI_OUTPUT_MODE
- CAP_OPENNI_DEPTH_GENERATOR_BASELINE = CAP_OPENNI_DEPTH_GENERATOR + CAP_PROP_OPENNI_BASELINE
- CAP_OPENNI_DEPTH_GENERATOR_FOCAL_LENGTH = CAP_OPENNI_DEPTH_GENERATOR + CAP_PROP_OPENNI_FOCAL_LENGTH
- CAP_OPENNI_DEPTH_GENERATOR_REGISTRATION = CAP_OPENNI_DEPTH_GENERATOR + CAP_PROP_OPENNI_REGISTRATION