本文虽然命名为对比文档,但是对比意义不是特别强烈的内容仍不在少数——如三种3D技术的误差等部分——换言之,本文旨在通过对比的形式对三种3D技术的特点和特性进行总结。资料主要来自于网络,部分相关参考文献会附在文末。由于时间有限,有些图留有多重水印,如有侵权,请联系作者删除。作者学习时间为一周左右,浏览的文献及网络资料繁多,参考文献难免有缺漏。本文系作者学习总结,用于个人学习记录,读者若有见解,请不吝赐教。


目录

1、三种3D技术的概述

1.1 ToF

1.2 双目

1.3 结构光

2、三种3D技术的组成部分

2.1 ToF

2.2 双目的计算流程

2.3 结构光

3、三种3D技术的原理对比

3.1ToF

3.1.1 dToF(脉冲调制)

3.1.2 iToF(连续波调制)

3.2 双目

3.3 结构光

3.3.1 时序编码

3.3.2 空间编码

3.3.2.1德布鲁因序列 (De Bruijn) 序列

3.3.2.2 二维空间编码

4、三种3D技术的误差

4.1 ToF

4.1.1 系统性误差

4.1.2 非系统性误差

4.2 双目

4.3 结构光

5、三种3D技术的优缺点

5.1 ToF

5.1.1 直接测量法

5.1.2 间接测量法

5.2 双目

5.2.1 优点

5.2.2 缺点

5.3 结构光

5.3.1 优点

5.3.2 缺点

6、后处理

6.1 ToF

6.1.1 深度数据校正

6.1.2 滤波

6.1.3 自动曝光

6.1.4 HDRZ

6.2 双目

7、资料与参考文献

7.1 ToF的部分参考资料

7.2 双目的部分参考资料

7.3 结构光的部分参考资料

7.4 三种3D技术对比的部分参考资料


1、三种3D技术的概述

1.1 ToF

ToF(Time of flight),即飞行时间法,是一种深度测量的方法,精度为厘米级。ToF的原理简单,模块体积小,测量距离范围较大,抗干扰能力较强。ToF测距方法属于双向测距技术,它主要利用信号在两个异步收发机(Transceiver)(或被反射面)之间往返的飞行时间来测量节点间的距离。

根据调制方法的不同,ToF可以分为两种:脉冲调制(Pulsed Modulation)和连续波调制(Continuous Wave Modulation)。脉冲调制是直接测量飞行时间,因此也称为dToF(direct);连续波调制是通过相位差来计算飞行时间,因此也称为iToF(indirect)。

1.2 双目

双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。

双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别,使我们可以获得明显的深度感,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来。这个差别称作视差(Disparity)图像。

双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点,非常适合于制造现场的在线、非接触产品检测和质量控制。在运动物体(包括动物和人体形体)测量中,由于图像获取是在瞬间完成的,因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一,获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。

1.3 结构光

结构光技术就是使用提前设计好的具有特殊结构的图案(比如离散光斑、条纹光、编码结构光等),然后将图案投影到三维空间物体表面上,使用另外一个相机观察在三维物理表面成像的畸变情况。如果结构光图案投影在该物体表面是一个平面,那么观察到的成像中结构光的图案就和投影的图案类似,没有变形,只是根据距离远近产生一定的尺度变化。但是,如果物体表面不是平面,那么观察到的结构光图案就会因为物体表面不同的几何形状而产生不同的扭曲变形,而且根据距离的不同而不同,根据已知的结构光图案及观察到的变形,就能根据算法计算被测物的三维形状及深度信息。

一般而言,结构光可以分为线扫描结构光和面阵结构光,前者本文不做讨论。对于面阵结构光来说,大致可分为两类:随机结构光和编码结构光。随机结构光较为简单,也更加常用。通过投影器向被测空间中投射亮度不均和随机分布的点状结构光,通过双目相机成像,所得的双目影像经过极线校正后再进行双目稠密匹配,即可重建出对应的深度图。随机结构光本文不做讨论,因为和普通双目算法较为相似一些额外的考虑就是是否给相机加装滤光片、光斑的密度要到什么程度等硬件和光学的问题了。

这里主要讨论编码结构光。编码结构光可以分为两类:时序编码和空间编码。


2、三种3D技术的组成部分

由于技术的发展和创新,我们很难对三种3D技术的组成部分进行死板僵硬的框定。本部分仅为了解三种技术提供参考。

2.1 ToF

TOF相机采用主动光探测,通常包括以下几个部分:

1、照射单元

照射单元需要对光源进行脉冲调制之后再进行发射,调制的光脉冲频率可以高达100MHz。因此,在图像拍摄过程中,光源会打开和关闭几千次。各个光脉冲只有几纳秒的时长。相机的曝光时间参数决定了每次成像的脉冲数。

要实现精确测量,必须精确地控制光脉冲,使其具有完全相同的持续时间、上升时间和下降时间。因为即使只是1ns的偏差即可产生高达15cm的距离测量误差。如此高的调制频率和精度只有采用精良的LED或激光二极管才能实现,一般照射光源都是采用人眼不可见的红外光源。

2、光学透镜

用于汇聚反射光线,在光学传感器上成像。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。这样做的目的是抑制非相干光源,减少噪声的同时防止感光传感器因外部光线干扰而过度曝光。

3、成像传感器

TOF的相机的核心。该传感器结构与普通图像传感器类似,但比图像传感器更复杂,它包含2个或者更多快门,用来在不同时间采样反射光线。因此,TOF芯片像素比一般图像传感器像素尺寸要大得多,一般100μm左右。

4、控制单元

相机的电子控制单元触发的光脉冲序列与芯片电子快门的开/闭精确同步。它对传感器电荷执行读出和转换,并将它们引导至分析单元和数据接口。

5、计算单元

计算单元可以记录精确的深度图。深度图通常是灰度图,其中的每个值代表光反射表面和相机之间的距离。为了得到更好的效果,通常会进行数据校