无人机感知与规避技术综述

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达  本文转自|新机器视觉 

摘 无人机广泛应用于军事侦察、打击、民用航空摄影、植物保护等领域。无人机对飞行安全的影响已成为人们关注的焦点。无人机感知和规避技术可以为无人机提供障碍物检测和碰撞报警能力，是确保飞行安全的关键。本文系统地介绍了无人机独立感知和规避系统的组成和基本功能，并展望了其未来的发展。

0 引言

无人机（UAV）它是一种无人机驾驶的空中飞机，通常由无线电遥控器或自己的程序控制。由于无需安装飞行员相关设备，无人机不仅具有空域大、运动速度快的一般特点，而且具有尺寸小、重量轻、隐蔽性好、适应性强等特点。

在军事领域，无人机在现代战争中发挥着越来越重要的作用，如侦察、预警、通信、精确打击、战斗支援、救援、补给甚至自杀攻击。在民用领域，无人机也可广泛应用于航空摄影、警察、城市管理、农业、地质、气象、电力、救援等领域[1]。

然而，制约无人机在军事和民用领域的推广和应用所面临的飞行安全问题非常突出。随着无人机的广泛使用，中低空和超低空的空域越来越拥挤，无人机与其他物体碰撞的风险日益增加，造成了巨大的安全风险[2]。

由于无人机上没有飞行员负责检测和避免障碍物，无人机系统只能依靠机载传感器来避免障碍物。这个过程是感知和避免。承担此功能的系统称为感知和避免系统。

对无人机系统的自主飞行安全至关重要。世界各国都认识到，无人机自主感知和规避技术是促进无人机应用发展的关键因素[3]。2017年10月25日，美国启动了无人机系统集成试点项目（The Unmanned Aircraft Systems Integration Pilot Program），无人机感知和规避能力是该项目的重点评价科目之一，旨在将无人机系统快速集成到国家空域。

1 无人机自主感知和规避系统

感知与回避是指无人机通过分析自身和障碍物的相对运动状态，可以探测其安全邻区或空域监测范围内是否存在障碍物(包括静止地物或其他运动飞机)，操作人员或自动分析决策，从而消除潜在的碰撞危险[4]。

无人机独立感知和回避系统通常包括感知系统、决策系统和道路规划系统[5]。工作过程一般为：首先通过感知系统检测障碍物，检测距离、角度、速度等信息，然后根据感知系统获得的信息判断障碍物是否影响飞行安全，并决定是否需要重新规划路线；如需重新规划，路线规划系统应根据本机和外部信息调整路线，避免碰撞。整个过程如图1所示。

图1 感知和规避系统工作流程图

2 感知系统

感知系统是无人机感知和回避系统的第一个环节，需要检测和获取障碍信息，以支持决策系统。感知系统可分为合作和非合作。

2.1 合作感知系统

合作感知系统要求空中飞机携带协同传感器，以完成飞机交通警报和防撞系统等目标检测（TCAS）、广播自动监控系统（ADS-B）等。

(1)飞机交通警戒和防撞系统（TCAS）

TCAS它是一个独立的交通防撞和报警系统，飞机上需要设备A/C询问应答机和TCAS天线。TCAS当其他飞机的应答机接收到询问信号时，会主动发出询问信号；询问方接收应答信号后，TCAS处理器根据发射信号和响应信号的时间间隔计算距离，并根据天线指向确定方向，以确定目标飞机的位置。但由于TCAS该系统的探测范围仅限于加载有应答机的飞机进行通信TCAS天线尺寸有限，角度测量误差大，单独TCAS该系统无法完成无人机空域障碍感知的任务。

(2)广播自动相关监控系统（ADS-B）

广播自动监控系统（ADS-B）它是一种将全球卫星定位系统装载在飞机上的监控系统（GPS）、惯导系统（INS）等待机载航空电力设备获取飞机的四维位置信息（经度、纬度、高度、时间），以及飞机本身的状态信息（速度、方向等）并通过广播发送到周围的飞机或地面用户。

ADS-B系统不仅可以监控空域中的装载ADS-B通过与空中交通管制系统的设备飞机（ATC）交联可获取天气、地形、空域限制等飞行信息[6]。因此，根据ADS-B系统提供的飞行规程，ATC信息、空域内其他飞行器详细信息，能够实现无人机的路径规划、空域目标感知、威胁评估、冲突规避等。另外，ADS-B该系统可以将无人机纳入无人机ATC有利于飞行空域安全的监督管理。国际民航组织（ICAO）它已被确定为未来空域监管技术发展的主要方向，国际航空业正在积极推动该技术的应用。

2.2 非合作感知系统

当载机与障碍物之间无法进行信息交互时，需要通过非合作感知系统进行独立检测。雷达、激光和光电通常用于非合作感知系统。

（1）雷达

雷达系统是一种主动检测设备，利用电磁波反射检测障碍物，电磁回波包含障碍物目标方向、相对距离等信息，具有检测范围广、全天候、全天候工作的特点，但雷达系统通常体积大，功耗大，不适用于中小型无人机系统，目标准确识别能力有限。

（2）激光

激光传感器具有精度高、单向性好的优点。机载激光传感系统通过向目标发射激光束来分析接收到的反射光束与发射光束之间的距离。经过进一步处理可获得方向、速度、形状等参数。激光传感器不易受气流的影响，但容易受到烟雾、灰尘和雨滴的干扰。目前，激光传感器民用感知和避障系统。

激光雷达结构简单，速度快，重量轻。作者对日本的文献7Hokuyo公司的URG-04LX雷达分析：URG-04LX工作波段为785nm，扫描半径为4m的240°角分辨率0.36°，距离测量精度10mm并采用基于角度对应关系的估计算法（Polar Scan Matching,PSM）,在复杂情况下，可以获得四旋翼无人机的相对位置和姿态信息。该算法收敛速度快，迭代时间短。该算法收敛快，迭代时间短。此外，经典算法还包括迭代最新点算法（Iterative Closest Point,ICP）、基于迭代的最小方差算法（Iterative Dual Correspondence,IDC）等。其中PSM算法在部分三维空间中的计算速度优于ICP算法。

以上算法均基于即时定位和地图构建（Simultaneous Localization and Mapping,SLAM）思维路径规划方法也可以直接基于成像点云进行伺服动作，而不需要迭代计算无人机的相对位置。

（3）光电

光电传感器采用光电元件将目标场景的光信号转化为电信号，具有被动无源的特点，且所获取的图像中含有丰富的细节消息，对操作手而言是最直观的一种传感器系统，也是当前军用大型无人机非合作目标感知与规避系统必不可少的传感器[8]。高分辨率可见光CCD相机作用距离远、分辨率高、隐蔽性好，是无人机感知障碍物的首选，但其无法全天候、全天时工作，因此目前主流的机载光电系统通常包含一个高分辨率的可见光 CCD传感器和分辨率较低的红外热像仪。红外热像仪可以根据各种目标和背景辐射特性的差异，全天候检测和识别障碍物。

由于单个光电传感器获得的图像丢失了深度信息，无法直接获取目标距离信息，因此需要使用多个传感器采用三维视觉方法获取障碍物的准确信息，或与激光和雷达传感器一起使用[9]。

图2 双眼视觉算法原理

图2显示了双目视觉算法的基本原理，P代表目标，OL和OR分别代表镜头光心，f代表镜头焦距，D代表两个镜头连接的垂直位置，T代表基线距离，d表示左右镜头的视差值，d=xl-xr。通过公式D=T*f/d目标距离可以计算。

双眼视觉最大的优点是3D匹配技术[10]，可以用来感受空间中场景的深度和距离信息。因此，双眼视觉算法层出不穷。在文献中 作者讨论了一些最优估计的理论方法。匹配算法一般可分为局部立体匹配算法和全局体匹配算法。局部立体匹配算法是基于窗口的算法，选择图像的局部特征作为最优估计的依据；全局立体匹配算法的最优化依据不局限于窗口之内。其中基于动态规划的立体匹配（Dynamic Programming）、棘突图割法的立体匹配（Graph Cuts）比较有代表性。

 

但是，这些算法所能实现的高精度定位和导航，严重依赖图像摄像机的精度、立体匹配算法的高准确性和实时性、测距和目标识别的精度等，目前还存在不小的挑战。

 

大疆科技的精灵4无人机采用了立体视觉的方式实现感知与规避，无人机装有两套双目立体视觉系统，一套向前看，一套向下看，一共 4个相机，向下看的一套双目立体视觉系统可以探测下方地面上物体的三维位置，并计算无人机的准确飞行高度；向前看的一套双目立体视觉系统可以用来探测前方场景中物体的深度，产生深度图进行障碍感知。

 

2.3 多源信息融合的感知系统

 

有效的无人机感知系统通常包含多种传感器，多源信息融合可以对来自于多个传感器的数据进行多层次、多级别和全方位的综合处理，得到对环境的最佳描述。无人机上的各种感知系统都可获取障碍物的部分信息，通过多源信息融合，将各种实时或者非实时、速变或渐变、模糊或准确、相似或矛盾等不同特征的传感器信息、测量数据、统计数据、经验数据进行融合处理，通过聚类方法或卡尔曼滤波对空间或时间上的冗余或互补信息进行处理，以获得空中潜在威胁目标的一致性的解释或描述。

 

多源信息融合的感知系统综合了无人机机载导航信息、雷达/光电数据、TCAS、ADS-B信息，有效地利用了多传感器资源信息的互补性，从而可以获得空中潜在威胁目标更为全面的信息，确保实现更安全更可靠的规避。

 

3 决策系统

决策系统主要负责根据感知系统提供的信息，判定障碍物对自身的威胁程度，常用的判定依据包括：

 

（1）相对高度差；

 

（2）相对距离；

       

（3）相对距离变化率，即相对速度；

 

（4）预留时间，即相对距离与相对速度之商。

     

预留时间至关重要，按空中交通管理系统规定，可将障碍物威胁等级划分为4级[4]。

 

（1）其他交通目标级别：相对距离大于 6海里或相对高度差大于1200英尺，无碰撞危险；

 

（2）接近交通目标级别：相对距离小于 6海里或相对高度差小于1200英尺，无碰撞危险；

 

（3）交通警戒级别：预留时间为35～45s，存在潜在碰撞危险，需提前做出规避决策；

 

（4）规避决策级别：预留时间为20～30s，存在潜在碰撞危险，必须做出规避决策。

4 航路规划系统

基于障碍规避目的的航路规划是指无人机根据感知信息得到的威胁目标的运动状态，以及碰撞规避点、碰撞预留时间等，同时考虑燃油、无人机机动特性确定一条最优路径的过程。其本质是一类多约束优化问题，算法种类繁多，人工势场法是应用较为广泛的一种算法。

 

人工势场法是一种虚拟力场法。它通过引入物理学中场的概念，在任务空间中构造势场。在势场中无人机受到目标位置的引力作用向目标点移动，障碍物对无人机的作用是斥力场作用，使其不碰撞障碍物。沿着势场函数下降的方向搜索无碰撞、安全路径。作用在无人机上的力为引力与斥力的合力，根据合力的作用确定无人机的运动方向，同时计算出无人机的位置。人工势场算法计算简单快速，适用于动态和静态障碍环境[12]。

 

与其他三维航路规划算法相比，其具有显著的优点：首先，人工势场法在规划航路时只需根据势力场计算当前位置受到的合力，结合当前无人机运动状态进行避障规划，所以其最显著的特点是计算量小、运算速度快。其次，利用人工势场法可以得到平滑而安全的航路，而其他航路规划算法不仅需要对航路进行平滑操作，可能还需要重新进行最小直飞距离、最大爬升角度等飞行安全性能检测。

5 总结与展望

 

无人机自主感知与规避技术涉及传感器设计、信号与信息处理、环境感知、目标检测/识别与跟踪、障碍物威胁评估、航路规划等诸多领域，同时也涉及空域管理、飞行安全规划等政策法规，是一个复杂的系统工程。随着无人机在军民领域的广泛应用，自主感知与规避能力会成为无人机必不可少的功能。

     

当前合作式感知系统和非合作式感知系统都得到了很大的发展，TCAS可以获得更多、更准确的信息，雷达和光电都可探测得更远、更准，多源数据的实时融合将是下一阶段的主要发展方向。

     

航路规划系统主要依据感知系统的信息进行推导，因此如何充分发挥感知系统各种传感器的特性是接下来要解决的问题。

 

从无人机感知与规避系统的整体结构来看，外部信息首先由传感器获得并进行处理，然后处理后的信息将被传输到决策系统进行判断，最后决策系统发出的指令将传输到航路规划系统。在整个过程中，任何一个环节上信息传输的延迟都有可能降低感知与规避系统的总体表现。因此，如何提升感知与规避系统对于信息传输延迟的鲁棒性也是非常重要的一点。

 

从整个系统功能上来看，无人机自主感知与规避系统应主要朝着以下方向发展，以提高系统的智能化程度。

 

（1）可规避的障碍类别更广；

 

（2）可适应各种使用环境；

 

（3）缩短系统判定周期，避免无人机突然的机动。

     

参考文献：

 

[1]朱立华.无人机自主检测与避障技术研究[D].东南大学,2016.

 

[2]闫晓东.基于视觉的四轴飞行器自主避障系统的研究与实现[D].电子科技大学,2018.

 

[3]惠国腾.基于性能的旋翼无人机避障关键技术研究与应用[D].中国民用航空飞行学院,2018.

 

[4]李耀军,潘泉等.基于多源信息融合的无人机感知与规避研究[A].第二十九届中国控制会议论文集[C].北京,2010.

 

[5]毕红哲,张洲宇等.无人机感知与规避技术研究进展[J].电子测量与仪器学报,2016,30(5):661-668.

 

[6]朱海峰.基于立体视觉的无人机感知与规避研究[D].西安:西北工业大学,2016.

 

[7]郭芳.复杂环境下四旋翼无人机定位研究[D].天津大学,2012.天津

 

[8]韩静雅,王宏伦等.基于视觉的无人机感知与规避系统设计[J].战术导弹技术,2014,5:11-19.

 

[9]何守印.基于多传感器融合的无人机自主感知与避障研究[D].北京理工大学,2016.

 

[10]王淏.基于双目视觉的无人机障碍物检测研究[D].兰州理工大学,2018.

 

[11]苏东.基于双目视觉的小型无人飞行器的导航与避障[D].电子科技大学,2014.

 

[12]李竺袁.民用无人机自主飞行避让算法研究[D].中国民用航空飞行学院,2018.

 End 

好消息，小白学视觉团队的知识星球开通啦，为了感谢大家的支持与厚爱，团队决定将价值149元的知识星球现时免费加入。各位小伙伴们要抓住机会哦！

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~