(本文参考Maeda, T. et al. (2019) ‘Recent advances in imaging around corners’, arXiv preprint arXiv:1910.05613.总结一下。主要变化是添加相关文献。更详细的信息参考原文)

本文主要总结了非视距成像研究中使用的硬件设备，包括以下五类， 分类方法参考文献[1]

1. 条纹相机 脉冲激光器

2. 单光子雪崩二极管 脉冲激光器

3. 连续调制幅度ToF相机 调制光源

4. 传统相机(CCD/CMOS)

5. 干涉仪

1.条纹相机 脉冲激光器

条纹相机是唯一具有超高时间分辨率和高空间分辨率的高端科学测量和诊断仪器——根据空间位置将时间到来顺序转换为空间进行判断和窥探瞬态过程。

因此，其优点包括：

• 时间分辨率高(ps~fs甚至可以达到1000级 fs)[1]
• 高空间分辨率： 可达0.03 mm

但也有很多缺点：

• 昂贵(50万RMB )
• 光子探测效率低；
• 高噪声水平；
• 需要扫描或其他光学器件

使用条纹相机的价格成本高，时间成本高。NLOS研究不多，主要集中在2015年之前，经典包括:

Kirmani, A. et al. (2011) ‘Looking around the corner using ultrafast transient imaging’, International journal of computer vision, 95(1), pp. 13–28.

Velten, A. et al. (2012) ‘Recovering three-dimensional shape around a corner using ultrafast time-of-flight imaging’, Nature communications, 3, p. 745.

2. 单光子雪崩二极管 脉冲激光器

SPAD是具有单光子探测能力的光电探测雪崩二极管。

优点：

• 有成为2D阵列的潜力可以节省扫描时间，大大提高数据获取速度；
• 光子探测效率高

特点：

• 时间分辨率较高:20-100ps;
• 空间分辨率高：6-30mm;
• 价格高(19万RMB左右)

包括SPAD sensor目前，制造商主要是与时间相关的单光子计数器PicoQuant.

可见，SPAD Pulsed Laser该方法具有良好的发展前景好，所以使用SPAD进行3D NLOS imaging有许多经典的研究包括：

Buttafava, M. et al. (2015) ‘Non-line-of-sight imaging using a time-gated single photon avalanche diode’, Optics express, 23(16), pp. 20997–21011.

Tsai, C.-Y. et al. (2017) ‘The geometry of first-returning photons for non-line-of-sight imaging’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7216–7224.

O’Toole, M. et al.(2018) ‘Confocal non-line-of-sight imaging based on the light-cone transform’, Nature, 555(7696), p. 338.

Ahn, B. et al. (2019) ‘Convolutional approximations to the general non-line-of-sight imaging operator’, in The IEEE international conference on computer vision (ICCV).

Lindell, D. B., Wetzstein, G. and O’Toole, M. (2019) ‘Wave-based non-line-of-sight imaging using fast f-k migration’, ACM Trans. Graph. (SIGGRAPH), 38(4), p. 116.

Tsai, C.-Y. et al.(2019) ‘Beyond Volumetric Albedo–A Surface Optimization Framework for Non-Line-Of-Sight Imaging’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1545–1555.

Musarra, G. et al. (2019) ‘Non-line-of-sight 3D imaging with a single-pixel camera’, Phys. Rev. Applied, 12(1), p. 6.

Xin, S. et al. (2019) ‘A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.

Iseringhausen et al.(2020) ‘Non-line-of-sight reconstruction using efficient transient rendering’, ACM Trans. Graph., 39(1).

等

3. 连续调制幅度ToF相机 调制光源

优点：

• 低成本:3万RMB左右

缺点：

• 曝光时间长，对环境光敏感；

特点：

• 空间分辨率： 1 mm左右

这种相机已经在了Microsoft Kinect 和Photonic Mixer Device (PMD)等商业化。

使用这种设备的研究不多，但也有几篇文章更有影响力，如：

Heide, F. et al. (2014) ‘Diffuse Mirrors: 3D Reconstruction from Diffuse Indirect Illumination Using Inexpensive Time-of-Flight Sensors’, in 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).

Kadambi, A. et al. (2016) ‘Occluded imaging with time-of-flight sensors’, ACM Transactions on Graphics (ToG), 35(2), pp. 1–12.

4. 传统相机(CCD/CMOS)

传统相机是指使用CCD和CMOS阵列成像设备。

CCD 指电荷耦合器件，是一种用电荷表示信号大小、用耦合传输信号的检测元件，具有自扫描、感觉波谱范围宽、畸变小、积小、重量轻、系统噪声低、功耗小、寿命长、可靠性高等一系列优点，并可做成集成度非常高的组合件。电荷耦合器件(CCD)是20世纪70年代初发展起来的一种新型半导体器件。CCD广泛应用在数码摄影、天文学，尤其是光学遥测技术、光学与频谱望远镜和高速摄影技术，如Lucky imaging。CCD在摄像机、数码相机和扫描仪中应用广泛，只不过摄像机中使用的是点阵CCD，即包括x、y两个方向用于摄取平面图像，而扫描仪中使用的是线性CCD，它只有x一个方向，y方向扫描由扫描仪的机械装置来完成[4]。

CMOS制造工艺也被应用于制作数码影像器材的感光元件（常见的有CCD和CMOS），尤其C是片幅规格较大的单反数码相机。再透过芯片上的模数转换器（ADC）将获得的影像讯号转变为数字信号输出。

CCD与CMOS图像传感器光电转换的原理相同，他们最主要的差别在于信号的读出过程不同；由于CCD仅有一个（或少数几个）输出节点统一读出，其信号输出的一致性非常好；而CMOS芯片中，每个像素都有各自的信号放大器，各自进行电荷-电压的转换，其信号输出的一致性较差。但是CCD为了读出整幅图像信号，要求输出放大器的信号带宽较宽，而在CMOS 芯片中，每个像元中的放大器的带宽要求较低，大大降低了芯片的功耗，这就是CMOS芯片功耗比CCD要低的主要原因。尽管降低了功耗，但是数以百万的放大器的不一致性却带来了更高的固定噪声，这又是CMOS相对CCD的固有劣势。[5]

传统相机能够测出辐照度，因此能够进行强度和光斑的测量。传统相机一般是不含有ToF信息的，但通过和diffuser结合能够提供被动的ToF信息[6]。

传统相机无疑是所有设备中最便宜的一种。它常常用于passive NLOS imaging，相关论文主要包括：

Tancik, M., Satat, G. and Raskar, R. (2018) ‘Flash photography for data-driven hidden scene recovery’, CoRR, abs/1810.11710.

Aittala, M. et al. (2019) ‘Computational Mirrors: Blind Inverse Light Transport by Deep Matrix Factorization’, in Advances in Neural Information Processing Systems, pp. 14311–14321.

Boger-Lombard, J. and Katz, O. (2019) ‘Passive optical time-of-flight for non line-of-sight localization’, Nature Communications, 10(1), p. 3343.

Saunders, C., et al. (2019) ‘Computational periscopy with an ordinary digital camera’, Nature, 565(7740), pp. 472–475

5. 干涉仪

多个光波之间的干涉能够提供深度信息。

分辨率：um量级；

例如2019CVPR best paper里就通过具有时间和空间上不相干的LED的光学相干断层扫描系统重建出μm量级的硬币[7]。

缺点：

• 仪器敏感、精密，需要控制误差；
• 商业上很难买到。

相关的论文并不多，主要包括：

Willomitzer, F. et al. (2018) ‘Non-line-of-sight imaging using superheterodyne interferometry’, in Imaging and Applied Optics 2018 (3D, AO, AIO, COSI, DH, IS, LACSEA, LS&C, MATH, pcAOP). Optical Society of America (Imaging and Applied Optics 2018 (3D, AO, AIO, COSI, DH, IS, LACSEA, LS&C, MATH, pcAOP)), p. CM2E.1. doi: 10.1364/COSI.2018.CM2E.1.

Xin, S. et al. (2019) ‘A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.(在Femtosecond-scaleexperiments中使用)

 

 

[1]. Maeda, T. et al. (2019) ‘Recent advances in imaging around corners’, arXiv preprint arXiv:1910.05613.

[2]. 条纹照相机_百度百科 (no date). Available at: https://baike.baidu.com/item/%E6%9D%A1%E7%BA%B9%E7%85%A7%E7%9B%B8%E6%9C%BA/17649081 (Accessed: 4 July 2020).

[3].SPAD（单光子雪崩二极管）_百度百科 (no date). Available at: https://baike.baidu.com/item/SPAD/22722258#viewPageContent (Accessed: 4 July 2020).

[4]CCD（电荷耦合元件）_百度百科 (no date). Available at: https://baike.baidu.com/item/CCD/362160 (Accessed: 5 July 2020).

[5]CMOS_百度百科 (no date). Available at: https://baike.baidu.com/item/CMOS#2 (Accessed: 5 July 2020).

[6]Boger-Lombard, J. and Katz, O. (2019) ‘Passive optical time-of-flight for non line-of-sight localization’, Nature Communications, 10(1), p. 3343.

[7]Xin, S. et al. (2019) ‘A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.