一文详解TOF技术

点击上方“3D视觉车间，选择星标

第一时间送达干货

一. 光速的测定

就像你在飞秒摄影介绍中看到的，TOF技术是将时间维度信息转化为空间维度信息的一种方法，其本质原理是我们在小学就学会了这样的公式：距离 = 速度 * 时间

因此，只要测量光的运动时间，就可以测量其飞行距离。

自然界中有许多动物天生具有类似的能力，最典型的是著名的蝙蝠和海豚。它们都可以通过发出特定频率的声波和捕捉回声来判断前面物体的距离。

这些动物利用的是声速，而对于我们摄影学所要用到的光速，就不得不提到人类测定光速的历史。

伽利略是17世纪初第一个试图测量光速的人。1638年，伽利略和助手站在不同的山顶上。他们之间的距离是已知的。计划是让伽利略打开一盏灯的快门，然后让助手一看到伽利略的光就打开快门。

伽利略计划用山顶和脉搏之间的距离作为计时器来测量光速。他和助手尝试了不同距离的方法，但无论他们相距多远，他都无法测量光的长度。显然，他的实验失败了，正如伽利略得出的结论所说，光速太快了：

I have not been able to ascertain with certainty whether the appearance of the opposite light was instantaneous or not; but if not instantaneous it is extraordinarily rapid – I should call it momentary

1849年，法国物理学家测定了光速的实验Hippolyte Fizeau完成后，他的实验非常精致：脉冲光源和8系统.63公里外的反射镜，以及光源前的可调速齿轮组成。Fizeau仔细调整齿轮的速度，直到反射镜反射的光刚好被下一个齿片挡住。根据齿轮的速度，以及光源/观察者和反射镜之间的已知距离，可以获得光速，见下图。虽然这个结果还不是很准确，但却是人类测定光速的一大步。

二. 各种TOF技术

直接脉冲TOF

我们现在已经知道，光在真空中的速度是299792458米/秒。和目标之间的距离可以通过使用此信息和光飞行时间来找到。1968年，Walter Koechner展示了如何用大功率注入激光二极管进行距离探测。

他的系统直接利用发射光脉冲和接收光脉冲之间的延迟来计算距离

基于这一原理TOF成像设备已应用于许多地方，更著名的是Google车载激光雷达在自动驾驶汽车项目中。

然而，激光脉冲光源必须具有很高的功率(百万焦耳级)，因为它需要准确地测量飞行时间。相应地，传感器还必须具有超高的时间分辨率(皮秒级)和较高的动态范围。这显然使得Koechner系统很贵。1965年，他加入了新泽西蒙茅斯堡的美国陆军电子司令部，担任物理学家。我认为他有很多资源来研究如此昂贵的系统。

在直接脉冲TOF在这条路上，技术也在不断发展，比如苹果最新的iPad Pro上所加载的dTOF该系统利用了单光子雪崩二极管的特性，使用非常低的功耗可以实现对距离的准确测量。关于这一点，我将在下面的一篇文章中介绍它。在这里，我将首先介绍直接测量光飞行时间的系统，并将其转移到下一站：间接测量方法。

脉冲间接TOF

在wikipedia你可以找到另一种间接使用脉冲光源的方法

如上图所示，光源发出固定频率的脉冲，传感器捕捉到目标反射的光。同时，控制传感器开始曝光。由于传输延迟，传感器中真正接收的光子量只有q1这一部分，q由于关闭曝光，这部分没有收到。如果有办法接收的话q这部分的光子量可以计算出返回脉冲相对于发射脉冲的延迟，然后知道光运动的距离。

如果已知脉冲的发射时间是t，那么可以用得到这个延迟，距离d很容易找到:

那么获得和呢？以下是示意图。你可以看到一个像素使用两个开关(G1和G2)和两个存储元件(S1和S2)。开关由与光脉冲具有相同时长的脉冲控制，其中开关G精确控制2的控制信号，使脉冲宽度刚刚延迟。这样在S1中仅通过G1采样光电信号的一部分，并存储另一部分S2中。根据距离的不同，S1和S如图所示，两者之间的比率会发生变化。由单个光脉冲引起S1和S2的差异很小，但当多个发射-接收信号积累时，就能得到显著的结果。这对应于上述公式和。

下图是距离和信号S1、S2的关系：

连续波调制TOF(Continous Wave TOF)

脉冲光的使用原理相对简单，但由于每个脉冲的进光量很小，需要多个积分周期才能获得更好的信噪比。因此，时间分辨率低，整体精度低。

另一种间接TOF该方法是利用连续的正弦或余弦波调制信号，利用发射光和接收光之间的相位差计算光的飞行时间，从而获得光源和目标之间的距离。

我们的目标是计算相位差，偏差以及幅度

这里面有三个未知数，你可能觉得最直接的方法是在接收端进行三次采样来求解：

这又会遇到信噪比很低的问题，而且对传感器的采样速度要求很高，所以实际上非常难以实现。

更好的方式是计算接收光L和传感器曝光函数E之间的互相关值I，从中计算出我们需要的值，这里要注意的是在曝光函数的作用下，这个互相关值恰好是传感器的实际信号强度。

经过3次不同时间的曝光，得到三个互相关值，从而可以求解从我们所需的三个值，尤其是相位差，它恰好对应着最终需要的深度值。

除了这种计算方法，也可以采用发射信号与接收信号之间的互相关信号来完成相位差的计算，比如定义：

发射信号： 

接收信号： 

那么两者的互相关信号： 

这里需要注意的是互相关是通过积分来完成的，所以一样可以有较高的信噪比。接下来就可以在  上进行采样了，设定4个采样点：

那么很容易根据三角公式得到：

三. TOF技术的应用

TOF技术自出现以来就被应用到许许多多领域，限于篇幅，这里只举几个。

我们最熟知的，应该就是深度感知了。在自动驾驶领域，它被用在车载激光雷达上

在消费娱乐领域，则有经典的微软Kinect：

在计算摄影的一个领域非视线成像(Non-line of sight imaging)，TOF也有广泛的应用：

对遮挡住的隐藏物体成像：

观察云团内部场景：

以后我会对非视线成像(Non-line of sight imaging)做更多深入的介绍，这里就先按下不表了。

四. 总结

今天我们从光速的测定开始讲起，看到了人类在测定光速方面的重要里程碑。接下来介绍了利用光的飞行时间的TOF成像设备的几种类型：直接脉冲型，间接测定相位差的脉冲型和连续波调制型。这些设备各自有各自的优缺点和适用领域，而且还面临着一些共同的需要解决的问题。

那么到底TOF系统在真实世界使用的时候需要面对哪些问题呢？这就是我下一篇文章会专门介绍的内容。

希望今天这篇文章能让你对TOF技术有了基础的了解，感谢你读到了这里，别忘了按赞分享????

五. 参考资料

1. CMU 2017 Fall Computational Photography Course 15-463, Lecture 24

2. 几篇关于光速测定的文章：

• https://lco.global/spacebook/light/speed-light/
  

• https://www.aps.org/publications/apsnews/201007/physicshistory.cfm
  

• Fizeau的实验：https://en.wikipedia.org/wiki/Fizeau%E2%80%93Foucault_apparatus

3. Achuta Kadambi：Time of Flight Revolution tutorial on ICCV 2015

4. Wikipedia上关于TOF的介绍：https://en.wikipedia.org/wiki/Time-of-flight_camera

5. Gupta et al., “Phasor imaging: A generalization of correlation-based time-of-flight imaging,” TOG 2015.

这里我用了大量Gupta教授的PPT的内容

6. Walter Koechner, "Optical Range System Employing a High Power Injection Laser Diode", 1968

7. Jarabo et al., “Recent Advances in Transient Imaging: A Computer Graphics and Vision Perspective,” Visual Informatics 2017

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近3000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~