3D视觉硬件技术

目前市面上主流的3D光学视觉方案有三种：

双目立体视觉法（Stereo Vision，在下文称双目法），结构光法（Structured Light，在下文称结构光）以及飞行时间法(Time of Flight, ToF在下文称ToF）。

目前较为成熟的方案是结构光和ToF。其中结构光最为成熟，已经在工业3D视觉中大规模应用。ToF的概念是扎根于深度传感器的。这里的深度传感器是指采用像素阵列来获取整个场景的高分辨率深度分布。对于深度传感器来说，一般用于测量深度的方案分别有结构光、双目和ToF三种，其中结构光（iPhone目前的Face ID就是使用了基于结构光的深度传感器）和双目技术都是基于几何原理做间接深度估计，而ToF则是测量发射光和反射光之间的飞行时间并根据光速来直接估计深度。

1.1 双目立体视觉法（Stereo Vision）

双目立体视觉法的技术原理是通过从两个视点观察同一物体，从而来获得同一物体在不同视角下的图像。通过三角测量原理来计算图像像素间的位置偏差（视差）来获取物体的三维图像，比如把一只手指放在鼻尖前方，左右眼看到手指会有一个错位的效果，这个位置差被称为视差。相机所要拍摄的物体离相机越近，视差越大，离相机越远，视差就越小。由此可以得出，当两个相机的位置等条件已知时，就可以通过计算相似三角形的原理来得出从物体到相机的距离。过程跟人类眼睛的工作原理相似。在双目立体视觉系统的硬件结构中，通常采用两个摄像机作为视觉信号的采集设备，通过双输入通道图像采集卡与计算机连接，把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换，最终向计算机提供图像数据。

双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Lawrence Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系进行描述，把过去的简单二维图像分析推广到了复杂的三维场景，标志着立体视觉技术的诞生。随着研究的深入，研究的范围从边缘、角点等特征的提取，线条、平面、曲面等几何要素的分析，直到对图像明暗、纹理、运动和成像几何等进行分析，并建立起各种数据结构和推理规则。特别是在1982年，David Marr首次将图像处理、心理物理学、神经生理学和临床精神病学的研究成果从信息处理的角度进行概括，创立了视觉计算理论框架。这一基本理论对立体视觉技术的发展产生了极大的推动作用，在这一领域已形成了从图像的获取到最终的三维场景可视表面重构的完整体系，使得立体视觉已成为计算机视觉中一个非常重要的分支。

一个完整的双目立体视觉系统通常可分为数字图像采集、相机标定、图像预处理与特征提取、图像校正、立体匹配、三维重建六大部分。双目立体成像法具有高3D成像分辨率、高精度、高抗强光干扰等优势，而且可以保持低成本。但是需要通过大量的CPU/ASIC演算取得它的深度和幅度信息其算法极为复杂较难实现，同时该技术易受环境因素干扰，对环境光照强度比较敏感，且比较依赖图像本身的特征，因而拍摄暗光场景时表现差。双目立体视觉法还有另一个限制，它过度的依赖于被拍摄物体的表面纹理，如果被摄物体表面没有明显的纹理，使用双目立体视觉法会无法匹配与之对应的像素的问题。

1.2 结构光法（Structured Light）

该技术是一种主动双目视觉技术，结构光技术的基本原理是，通过近红外激光器，将具有已知的结构特征（比如离散光斑、条纹光、编码结构光等）的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集三维物体物理表面成像的畸变情况，再通过观测图案与原始图案之前发生的形变由此来得到图案上的各个像素的视差。这个技术通过光学手段获取被拍摄物体的三维结构，再将获取到的信息进行更深入的应用。其工作原理可看作是另一种双目法，红外激光器和红外摄像头可当做是双目立体视觉法中的左右双目的观测原理。

结构光在消费电子领域的商用最早可追溯到2009年，微软与以色列3D感测公司 PrimeSense合作发布了搭载结构光模组的体感设备Kinect一代，2010年11月上市后，该产品成为 2011 年销售最快的消费电子设备。尽管产品大获成功，但第一代 Kinect 的准确度、图像分辨率和响应速度并不理想。2017年苹果发布iPhone X，首次搭载 3D 结构光模组，可实现3D人脸识别技术，成为苹果近几年最大的创新。此前由于半导体工艺等多方面技术的限制，3D 感测很难应用到体积非常有限、功耗要求低的手机上，因此iPhone X 的发布是结构光技术的重大突破，市场对结构光技术的热情重新点燃。主要结构光方案厂商还有美国的英特尔、高通/Himax，以色列 Mantis Vision 以及国内华为、奥比中光等公司。iPhone X 发布后，国内小米、华为和 OPPO 也先后发布了首款搭载结构光模组的智能手机，其中小米采用的是以色列 Mantis Vision 公司的解决方案，华为采用的是自研方案，OPPO采用的是国内公司奥比中光的解决方案。苹果在2018年和2019年的iPhone新产品中也全部搭载了结构光模组。

结构光技术相较于双目技术有一个好处，结构光的红外激光器发射出了光，可以照亮被扫描物体，所以它不需要像双目结构一样依赖于光源，而且在较平整，没有图案的物体表面也可以测算出物体的三维深度。综上所述，结构光相较于双目结构有两个优点：（1）在场景较暗的场景下也可以运作正常（2）在没有明显纹理的物体上也可以实现深度扫描。

1.3 飞行时间法介绍

ToF是Time of Flight的缩写，直译为飞行时间，通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测这些发射和接收光脉冲的飞行（往返）时间来得到目标物距离。传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

ToF最早的商用可追溯到 2006 年 7 月，衍生自CSEM(瑞士电子与微技术中心)的 MESA Imaging公司成立，并推出商用ToF摄像头产品系列 SwissRanger，最开始应用于汽车的被动安全检测。ToF技术首次应用到智能手机是在 2016 年，Google 和联想合作推出了全球首个搭载ToF模组的智能手机 Phab2 Pro，采用的是pmd/英飞凌的ToF方案，该手机可实现一些如三维测量等简易的 AR 应用，但并没有引起市场较大的反响。2018年8月6日,OPPO 在北京召开了ToF技术沟通会, 并在8月23日发布了其首部搭载 ToF 摄像头的智能手机 OPPO R17 Pro,采用了 Sony 的解决方案。随后在 2018 年 12 月，vivo 发布了其首部搭载 ToF 摄像头的智能手机 vivo NEX 双屏版，采用了松下的解决方案; 华为发布了其首部搭载 ToF 摄像头模组的智能手机荣耀 V20,采用的是 OPPO R17 Pro 相同的 ToF方案。进入 2019 年后，安卓厂商纷纷加入 ToF 镜头的阵营。此后，有越来越多的手机厂商在手机上搭配ToF镜头。

典型ToF测量设置描绘在图中,它包含几个构建块:(a)脉冲/调制光源（在ToF中一般使用VCSEL，请见下文解释）(b)光学扩散片将光扩散传播出去,接着当光从物体上反射回来时，用(c)一组透镜收集从物体上折射回来的光。接着经过一个滤光片将折射回来的光收集起来并且适当地调整光源的波长，接着通过改善背景噪声抑制令光波可被芯片所识别。最后,测量系统的核心是由固态量程图像传感器(d)，由一组光探测器（像素）组成，能够直接或间接地测量光脉冲从光源到目标并返回传感器所需的飞行时间。该系统还需要一个合适的传感器接口，为传感器提供电源、所需的偏置电压/电流信号、数字控制相位，并从传感器读取数据流，这通常需要进一步的小处理以获得3D体积数据。最后，传感器接口负责与外部（到PC或处理单元）的通信。

ToF 技术具有以下的优点：1、软件复杂性低，设计与应用简单 2、在暗光与强光环境下表现不错 3、功耗不高 4、有较远的探测距离 5、成本低 6、响应速度快，缺点则在于室外受自然光红外线影响大、远距离无法保证精度。

飞行时间测量技术（D-ToF）

在经典的飞行时间测量中，直接飞行时间（Direct ToF，D-ToF，下文称为D-ToF）的原理比较直接，即直接发射一个光脉冲，之后测量反射光脉冲和发射光脉冲之间的时间间隔，就可以得到光的飞行时间。探测器系统在发射光脉冲产生的同时启动一个高精度的秒表。当探测到目标发出的光回波时，秒表停止并直接存储往返时间。目标距离z可通过以下简单方程估算：

其中表示光在空气中传播的速度。D-ToF通常用于单点测距系统，但由于像素级亚纳秒电子秒表的实现困难，D-ToF的成本以及技术难度相较于I-ToF更高。这项技术特别适用于基于SPAD的ToF系统。目前主流的主流的ToF技术所采用的SPAD（single- photon avalanche diode，单光子雪崩二极管）是一种高灵敏度的半导体光电检测器，其被广泛运用于弱光信号检测领域。结合D-ToF技术，可用来精确检测记录光子的时间和空间信息，继而通过三维重极算法进行场景的三维重构。苹果在2020年发布的第四代iPad Pro中就运用到了D-ToF技术。D-ToF的原理看起来虽然很简单，但是实际能达到较高的精度很困难而且成本对比I-ToF要高很多。除了对时钟同步有非常高的精度要求以外，还对脉冲信号的精度有很高的要求。普通的光电二极管难以满足这样的需求。而D-ToF中的核心组件SPAD由于制作工艺复杂，能胜任生产任务的厂家并不多，并且集成困难。所以目前研究D-ToF的厂家并不多，更多的是在研究和推动I-ToF。

飞行时间测量技术（I-ToF）

D-ToF的另一种解决方案是所谓的间接ToF（Indirect ToF，I-ToF，下文称为I-ToF），而I-ToF的原理则要复杂一些。在I-ToF中，发射的并非一个光脉冲，而是调制过的光。接收到的反射调制光和发射的调制光之间存在一个相位差，通过检测该相位差就能测量出飞行时间，从而估计出距离。其中往返行程时间是从光强度的时间选通测量中间接外推的。在这种情况下，不需要精确的秒表，而是需要时间选通光子计数器或电荷积分器，它们可以在像素级实现，只需较少的计算工作和硅面积。I-ToF是基于ToF相机的电子和照片混合设备的自然解决方案。