光子神经网络的应用及发展概述

光子神经网络的应用与发展概述

最近研究了光子神经网络论文，作为课程论文完成了简单的综述

参考https://blog.csdn.net/taochenning/article/details/106305319

1 引言

目前，人工智能作为当今计算机科学中最活跃的领域之一，广泛应用于计算机视觉、自然语言处理、自动驾驶和目标跟踪。人工神经网络（Artificial Neural Network，ANN）成为20世纪80 人工智能领域自20世纪以来兴起的研究热点，通过模仿神经系统结构，在神经网络中建立各层神经元之间的连接，具有良好的泛化能力和鲁棒性，广泛应用于各种场景[1]。近十年来，人工神经网络的研究工作不断深化，取得了巨大进展，在模型识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域成功解决了许多现代计算机难以解决的实际问题，表现出良好的智能特性[2]。如图1。

图1.人工神经网络

集成电路（Integratedcircuit,IC）芯片是当今主流神经网络模型训练和测试的硬件载体。传统的神经网络可以在CPU、GPU、FPGA以及ASIC上运行。然而，受其采用冯的限制·无论采用何种方式，诺伊曼结构都将数据空间与程序空间分开IC芯片作为载体，在计算单元和存储器之间产生大量的潮汐数据载荷[3]。

光子神经网络（Optical neural network, ONN）它具有高带宽、高互联性、内部并行处理等特点，可以加速软件和电子硬件的部分操作，达到光速，提供了替代人工神经网络的有前途的方法。在光子神经网络中，矩阵乘法可以在光速下进行，可以有效地解决人工神经网络中密集的矩阵乘法，从而减少能源和时间的消耗。其中，人工神经网络中的非线性激活函数也可以通过非线性光学元件在光子神经网络中实现非线性操作。例如，饱和吸收体、石墨烯材料料、光控相变存储器等全光非线性运算元件的研究较多(phase change memory, PCM)以及Williamson I. A. D.光电混合可控非线性操作元件等人提出。

2 光子神经网络分类

目前，光子神经网络可分为三种结构：神经网络的前馈、循环神经网络和脉冲神经网络。①神经网络的前馈（feedforward neural network，FNN），基本特征是神经网络各层之间的信息由输入层单向传输到输出层，一般包括全连接神经网络和卷积神经网络。②循环神经网络不同于前馈神经网络(Recurrent Neural Network, RNN)除了单向传输外，节点间还有连接和后反馈连接。③脉冲神经网络（spiking neural networks, SNNs），又称第三代神经网络。与前馈和循环神经网络相比，其模拟神经元更加接近实际，并将时间信息考虑在内。除此之外，SNN神经元在每次迭代传播中都没有被激活，只有当其膜电位达到特定值时。

全光神经网络可根据主要光学元件的不同分为光子芯片（nanophotonic circuit）、光学元件的被动衍射（passive diffractive layer）、三种散射材料。

本文旨在回顾光子神经网络的发展，阐述当前典型的光子神经网络技术，为今后的实验研究奠定知识基础。

3 基于衍射光学元件的光电混合神经网络

2018年8月，斯坦福大学Julie Chang等人在SCI上面发表了一个名字《Hybrid optical-electronic convolutional neural networks with optimized diffractive optics for image classification》的论文，基于衍射光学元件的光电混合神经网络。该网络在电子计算前增加了一层光学卷积运算，由于光学卷积，整个网络的计算量大大降低，如下图2所示。该网络在电子计算前增加了一层光学卷积计算。由于光学卷积，整个网络的计算量大大降低，如下图2所示。f该系统可实现两个傅里叶级联变换。在这个系统中，有两个焦距为f的凸透镜。第一个镜头距离物面f，镜头后面是傅里叶，距离也是f；第二个镜头放在前f距离的远处。同样，镜头后面是第二个傅里叶面，距离也是f。这构成了4f系统”。为了实现光学的卷积过程，我们对“4f系统”中间的傅里叶平面放入相位板对入射光的振幅和相位进行调制，而将相位板划分为多个平铺的卷积核，就可以实现多卷积过程。

图2. 光卷积层设计（a）一种4f该系统的示意图·光学卷积可以通过在傅立叶平面上放置相位掩模来实现（opt-conv）层（b）数字卷积层的标准组件包括输入图像、一堆卷积核和相应的输出（c）在opt-conv层中的等效组件，其中内核和输出铺在2D在数组中，而不是在深度维度上堆叠

图3. 单卷积层分类系统图示

在图3中，输入图像有N个类别，其中一个类别通过优化输入图像PSF投影到opt-conv在块中，卷积层的输出图像分为N类对应的N个子图像数组，然后通过获取每个子图像中的最大强度像素来计算每个类别的得分。输入图像的预测类别是得分最高的类别。

研究人员采用Google QuickDraw试验采用16个32个数据集×32大小的卷积核在改数据上的识别正确率达到72.2%。与同一结构的电子神经网络相比，正确率仅低于4%，正确率为75%.9%[4]。

4 全光衍射深度神经网络

2018年6月，加州大学洛杉矶分校（UCLA）研究人员创新地提出了全光子衍射深度学习框架，称为衍射深度神经网络（ diffractive deep neural network，D2NN）。D2NN光子神经网络由多层衍射表面（diffractive surfaces）构成物理层，神经网络的运算功能可以与这些衍射表面协调。衍射神经网络训练学习部分在电子计算机上完成，然后在光子神经网络中进行推理和预测。对MNIST模拟和实验数据集证明了其推理能力[5]。D2NN网络中的每一层都被视为投影层或反射层。层上的点表示一个神经元，可以反射和传输光波，并通过光学衍射连接到后续层，从而实现正传播过程。如图4中A图所示。

4.1 D2NN与普通神经网络的区别

我们可以从图4的A图中得到：

1. D2NN复数中神经元式输入，层与层之间的物理距离看作权重（weights），还与自由空间的衍射系数有关，其中的乘法偏置（multiplicative bias）可以通过每个神经元的透射/反射系数得到。

2. 输入波的相位及振幅通过每个神经元进行调制，输出称为二次波。目前还未能实现跟其他普通神经网络一样的激活函数如：sigmoid、ReLU。（但在D2NN中增加光学非线性器件也可以实现非线性函数）

3. 上一层网络中各神经元的输出之间会产生波的传播、相干（或部分相干）干涉耦合，这是一种光子神经网络中独特的互联性。这种互联作用受到多个因素的影响，例如：探测SNR、网络层间距、入射光束光强、照明光源的相干长度和半径等等与传播过程想关。波的强度会随传播距离发生衰，同时，神经元产生的二次波也会向各角度产生衍射。由于这个原因，那么下一层网络每个神经元只能接收有限半径内的波。与电子神经网络类似，我们称之为D2NN的接收域（receptive field）。

图4 . 衍射深度神经网络

4.2 D2NN实现分类器对MNIST数据集分类

（1）. MNIST手写数字数据集

本试验使用数据集为MNIST手写数字数据集，其中包含5.5万张图像(5000张用于检测图像)，在一个五层的D²NN框架上进行推断。首先，先将输入的数字通过编码技术编码到D²NN输入域的幅值中，在计算机进行训练学习，衍射网络将输入数字映射到10个检测器，每个检测器分别对应着1个数字。如图4中B图所示。目的是找出具有最大光强的检测器，对应的数字即为预测的结果。通过训练得到权重参数，然后进行推断测试，测试数据集是MNIST测试数据集中10000张图片，该部分图片未用作训练、验证图像集仅拿来作为测试推断使用。研究者们通过使用训练好的D²NN数字分类器进行数值测试，获得91.75％的分类准确率。接下来是把试验得到的数值结果运用3D打印技术，将这个5层的D²NN 通过3D打印机打印出物理模型，片状的模型面积为8cm×8cm，共五片。其中，每一层神经元的相位值用3D打印神经元的相对厚度进行物理编码。还要把衍射网络的输出平面做成10个检测器区域。最后，就可以使用制作好的3D打印模型进行网络推断测试。推断过程是通过0.4 THz的连续波光照作为输入来测试该生成网络的性能。得到的推断结果，如下图5所示。在 10000幅测试图像中，对设计好的包含五层衍射层的光子神经网络D2NN测试，获得91.75%的正确率。通过进一步改进，保持原来5层结构不变，在5层网络的基础上再增加两层，正确率有所提高，达到93.39%。

图5. D2NN 手写数字识别器的性能

（2）. Fashion-MNIST数据集

为了测试该网络性能，鲁棒性，研究人员继续对一个更复杂的图像数据集——Fashion-MNIST数据集进行试验。该数据集包含了10个类别的时尚产品。使用训练好的D²NN模型对Fashion-MNIST数据集进行推断，试验结果如图6所示。结果表明，对设计好的包含五层衍射层的光子神经网络D2NN，在phase-only和complex valued两种情况下的分类精度分别达到81.13%和86.33％。同样，通过进一步改进，保持原来5层结构不变的基础上，将衍射层的数量增加到10层，并将神经元的总数增加到40万，实验结果表明：该生成D²NN网络的分类精度有明显的提高，达到86.60％。与现有的基于卷积神经网络的标准深度学习研究试验做对比，其学习参数达到890万，以及具有250万个神经元，Fashion-MNIST分类准确度的最高性能相对光子神经网络得到结果相差没有特别大，其准确度为96.7％。

5 光子神经网络的应用

1. 通过有效结合光子神经网络与基于电子的人工神经网络，发挥其各自优势，在进行语音识别、图像识别等复杂任务时可以更便宜、更快速和更节能。
2. 将全光衍射神经网络D2NN应用在全光学图像分析、特征检测和对象分类中，还可以用于医疗技术、机器人、安全等领域。
3. 使用光子神经网络进行人脸识别，把D2NN作为传感器设计的一部分，那么将不需要超百万像素的成像器。

光子神经网络，作为光子技术与人工智能技术的交叉学科产物，能够将光子技术与人工智能优势结合，构建出高速、低功耗、大宽带的网络结构，突破传统电子神经网络瓶颈。经过研究者们的研究试验，相信在不久的将来，光子神经网络一定能够解决目前一些瓶颈问题，能够更好地发挥光电子技术与人工智能技术结合所带来的高速、低功耗优势，更好地构建绿色智能的世界。

 

图6. D2NN 时尚物品识别器的性能

参考文献

1. 陈宏伟,于振明,张天,臧裕斌,淡一航,徐坤. 光子神经网络发展与挑战[J].中国激光,2020,47(05):0500004.
2. 百度百科.人工神经网络[EB]/[OL].https://baike.baidu.com/,2020-06-12
3. Zaharia M , Chowdhury M , Das T , et al. Resilient distributed datasets: A fault-tolerant abstraction for in-memory cluster computing[C]// Proceedings of the 9th USENIX conference on Networked Systems Design and Implementation. USENIX Association, 2012.
4. Julie C , Vincent S , Xiong D , et al. Hybrid optical-electronic convolutional neural networks with optimized diffractive optics for image classification[J]. Scientific Reports, 2018, 8(1):12324-.
5. Lin X , Rivenson Y , Yardimei N T , et al. All-optical machine learning using diffractive deep neural networks[J]. ence, 2018, 361(6406):1004-1008.