基于深度学习的全息粒子场成像进展

随着计算机性能的提高和各种算法的提出，深度学习算法已广泛应用于成像和一些视觉任务中。将深度学习与数字全息结合是一个新的方向。现有的文章和现有的研究方向只是这个方向的一小部分，所以我们仍然有很多研究内容。我主要做的是基于深度学习的粒子场数字全息成像。在本文中，我主要介绍了几篇结合深度学习和粒子场数字全息成像的文章，这也在我的一篇文章中进行了具体的介绍。详见我的文章[1]。希望能给一些人一些启发。同时，如果你想一起讨论或交流，欢迎添加我的微信（Eugene-13）。欢迎关注羽峰学编程公众号，让我们共同进步。

1. 粒子采用深度坐标、半径和折射率

洛伦兹-米氏（Lorenz-Mie）光散射理论解释了跟踪和定位每个粒子，并测量其尺寸和折射率。但该技术的成本是拟合每个全息图像的逐像素，计算量非常大。2014年D. G. Grier等人提出用z, a, r三个参数分别表示粒子深度坐标、半径和折射率。三个参数SVM分别计算粒子z,a,r[2]三个物理参数。

SVM训练数据生成和训练流程示意图

2. 内外核折射率和半径表征粒子

使用数字全息技术跟踪和定位粒子时，通常采用反向传输和非线性模式匹配算法，但这些算法大多包括积分和FFT因此，如果增加图像大小或并行研究多个粒子，计算成本将大大增加。2015年，B. Schneider其他人建议分别代表粒子内核折射率、外核折射率、内核半径和外核半径，以跟踪和定位粒子[3]。全连接神经网络采用粒子全息图的一维径向扫描，输出包含粒子信息(n1,n2,Rcore,Rshell)四维向量，具体训练过程如下图所示。

神经网络训练示意图

3. 用二维坐标表征粒子

Y. Wu等人提出了粒子二维平面坐标(x,y)表示粒子[4]。在燃烧过程中，由于燃烧速度不同，燃烧阶段不同，可燃物燃烧不完全使小颗粒与未燃烧或小颗粒聚集后产生的大颗粒共存，难以检测到小颗粒。Y. Wu通过训练改进的全卷积网络（FCN）可提高小粒子检测精度和误检率。

FCN网络结构

4. 采用三维坐标表征粒子

S. Shao等人提出使用三维坐标(x, y, z)在三维空间中，征粒子x, y, z坐标不同，粒子场中的每个粒子都可以用这三个参数来确定，从而检测和定位三维粒子场中的粒子[5]。提出了改进U-Net在每个编码器和解码器编码器和解码器中（Residual Connection），用Swish替换激活函数ReLu激活函数，短了网络的训练时间，削弱了网络最后几层的退化。使网络更好地应用于三维粒子场中的粒子检测。

改进的U-Net网络结构图

5. 三维坐标和半径表征粒子

在粒子场数字全息成像中，粒子表征和粒子场反向重建通常需要多次衍射计算，然后使用聚焦度来检测粒子的横向和轴向位置。但这些过程通常需要很长时间，这使得在粒子全息图的实时重建过程中难以应用。T. Shimobaba等人使用粒子的三维坐标(x, y, z)和粒子半径(R)用四种物理参数表示粒子[6]。由于每个粒子在三维空间中都有独特的坐标和半径，空间中的任何粒子都可以用这四个物理参数来检测和定位。并用采用DNN网络的三维体积场直接从同轴全息图重建。该方法比传统方法运算时间快得多，对再现全息图的质量要求也不高。也可以应用于一些复杂的场合。

DNN网络结构

总结

深度学习算法由于其重建速度快，相比于传统非迭代优化求解算法计算时间明显缩短，在数字全息重建中发挥重要作用。深度学习算法主要通过线性或非线性拟合实现。神经网络具有很强的拟合能力，可以完成非常复杂的线性或非线性映射。同时，卷积神经网络包含许多参数，可以获得非常高维的假设空间，使深度学习具有较强的表现能力。深度学习的最新进展促进了粒子场数字全息成像的实时应用，如粒子表征、粒子场反向重建、粒子跟踪和定位等。基于SVM全息粒子、半径和折射率三个分类器：深度坐标、半径和折射率，计算速度较慢。全连接神经网络的计算速度大大提高，但其特征提取能力较弱，输出结果的准确性较低。FCN网络增加了卷积、池化和激活函数，大大提高了输出结果的准确性。DNN网络是一种U-Net结构网络提取图片特征的能力、图片的精细度、输出结果的准确性和计算速度都得到了提高，40个粒子场的数字全息图可以包含300粒子.粒子提取率4%。对U-Net进一步完善网络，引入残差模块和Swish粒子提取率可达98%。可以预见，随着深度学习算法的不断进步，将会有更多的新网络，不断提高粒子场全息图深度学习重建算法的准确性和计算速度。

基于深度学习的粒子场数字全息成像方法主要有以下三个优点：（1）深度学习算法在训练模型中花费大量时间。一旦模型训练良好，粒子场数字全息成像将花费少量时间实现实时计算和实时显示（2）由于卷积神经网络层数的增加，拟合能力不断提高，可以拟合复杂的逆光场重建模型，粒子场数字全息成像可以在各个领域进行；（3）由于深度学习算法的不断发展，许多成熟的网络架构可以应用于粒子场数字全息成像，使算法设计简单。

然而，基于深度学习的粒子场数字全息成像方法也存在许多挑战：（1）实验数据的获取与实际场景存在一定的误差，使实际应用的培训深度学习模型的误差大于理论误差；（2）如果三维场景中两个粒子在二维平面上的投影非常接近，或部分重叠甚至完全重叠，现有传感器很难区分两个粒子形成的全息图，误判为粒子，导致重建误差大；（3）深度学习算法是通过数据驱动训练神经网络，其网络参数选择没有理论基础，根据参数选择方法，通过有限数据训练神经网络拟合符合粒子场数字全息成像的映射函数，不是唯一的，但只有一个真实的映射函数，这导致了实际拟合结果和理论结果的误差。(4)由于深度学习模型的计算过于依赖于大量浮点计算，很难应用于一些资源有限的设备，如普通移动设备和现场可编程门阵列（FPGA）因此，深度学习算法的移动终端应用速度需要从模型压缩中减少冗余浮点操作或提高设备的硬件处理能力。

目前，基于深度学习的粒子场数字全息成像中粒子的表征和反向重建实验几乎都是在理想情况下获得的数据集。一旦进入实际应用，如光线不均匀、环境噪声过大等因素会影响生成的数字全息图。此时，网络很难准确地表示和检测粒子。因此，有必要增加数据集的丰富性或获得更真实的数据集，使深度学习算法在实际应用中获得更高的准确性。二是如何解释粒子场数字全息成像中应用深度学习的原理，使深度学习算法不再是一个黑匣子，使其结果更具说服力。

参考文献

[1]吴羽峰， 吴佳琛, 郝然,等. 基于深度学习的粒子场数字全息成像研究进展[J]. 应用光学, 2020(4):662-674.

[2]YEVICK A, HANNEL M,GRIER D G. Machine-learning approach to holographic particlecharacterization[J]. Optics express, 2014, 22(22): 26884-26890.

[3]SCHNEIDER B, DAMBRE J, BIENSTMAN P. Fast particlecharacterization using digital holography and neural networks[J]. Appliedoptics, 2016, 55(1): 133-139.

[4] WU X, LI X, YAO L, et al.Accurate detection of small particles in digital holography using fullyconvolutional networks[J]. Applied optics, 2019, 58(34): G332-G344.

[5] SHAO S, MALLERY K, KUMAR S S,et al. Machine learning holography for 3D particle field imaging[J]. Opticsexpress, 2020, 28(3): 2987-2999.

[6] SHIMOBABA T, TAKAHASHI T, YAMAMOTO Y, et al. Digitalholographic particle volume reconstruction using a deep neural network[J].Applied optics, 2019, 58(8): 1900-1906.