文前白话

本文简要介绍了自动驾驶系统中应用的各种传感器，了解其简单的组成、工作原理和应用。

1、Camera

1.1 概述

• 相机是自动驾驶的核心传感器，与激光雷相比，实现了许多规划和控制的基础 达和毫米波雷最大的优点是可以识别车辆周围的环境信息纹理 “看到 目标类型、信号灯颜色等，类似于人眼。

1.2 工作原理

• 摄像头是将光学组件获得的光信号投射到图像传感器上，完成从光信号到电信号的转换，然后转换为数字图像信号，最后进行信号算法处理，实现车辆、行人、车道线路、交通标志检测、距离估计等功能。
• 摄像头由以下部分组成：

1)光学组件:也称镜头组件(lens)，由镜片、滤光片、保护膜等组成；
2）CMOS 图像传感器：也叫感光元件，简称 CIS，它是模拟电路和数字电路的集成，是摄像头最基本、最重要的模块，主要由四部分组成：
◆ 微透镜：球形表面和网状透镜，光通过微透镜，CIS 非活性部分负责收集光并聚焦于彩色滤光片；
◆ 彩色滤光片（CF）：拆分反射光中的 RGB 成分通过感光元件形成 Bayer 阵列*滤镜
◆ 光电二极管（PD）：一般采用光电转换装置将光信号转换为电信号 PIN 二极管或者PNV 制作结器件；
◆ 通过CIS 有源像素传感器(APS)实现。一般APS 由3-6 由晶体管组成，将电信号转换为数字图像信号。

• *Bayer 阵列，是4x4 的阵列，由 8 个绿色、4 个蓝色、4 将灰度图转换为彩色图时，由红色像素组成 2x2 矩阵进行9 第二次运算，最后生成一副彩图。阵列时间 CIS 拍摄彩图的主要技术之一。
• 相机获取数字信号后，通过串行器编码，然后通过LVDS 或其它高效链路，传输到相应的计算平台，通过相应的解串器解码，送到计算单元进行图像分析。

1.3 自动驾驶汽车摄像头的应用

• 根据相机的安装位置，可分为前视、侧视、后视、内置、环视等。在高级自动驾驶车辆中，有多个甚至十几个相机。例如，特斯拉Autopilot2.0 包括硬件系统 8 个摄像头。

• a）前视摄像头
  前视摄像头一般布置在远距离、中距离、近距离等，安装在前挡玻璃较高的位置，以实现远距离的有效检测。中距离或远距离一般有效检测距离 90-250m，水平视角在 60°以下是行人、车辆、车道线、路岩线、交通信号灯、交通标志等的有效检测。近距离摄像头的有效检测距离小于近距离摄像头 70 米，水平视角一般在 70~120°，主要用于车道线路、交通信号灯、交通标志等。在高级自动驾驶中，安装配置通常采用三种摄像头的形式。

• b）侧视摄像头
  侧视镜摄像头通常用于检测车身周围的盲点。盲点的存在将大大提高交通事故的可能性。这就是汽车盲点检测的原理。在自动驾驶领域，侧后视镜摄像头也被用来取代后视镜，以避免危险盲点发生事故。

• c）后视摄像头
  后视摄像头主要用于倒车、障碍物、行人和停车线的检测，实现安全倒车，方便停车。

• d）环视摄像头
  环视摄像头一般采用广角或鱼眼镜头，用于低速或超近距离感知，收集车身周围全景拼接，提供车辆周围360°的画面。

• e）内置摄像头
  内置摄像头主要用于监控驾驶员姿势，预警疲劳、不规范驾驶等危险行为。内置摄像头需要在整个工作条件下(包括暗光、夜间、背光等)运行，不受驾驶员衣着的影响。

• 摄像头在 ADAS 中功能列表

功能	摄像头类型	位置	具体功能
车道偏离预警（LDW）	前视	单目/双目	当车辆偏离车道时，发出警报
前向碰撞预警（FCW）	前视	单目/双目	当检测到离前车太近时，发出警报
保持车道辅助（LKA）	前视	单目/双目	检查车道的车道线，当车辆即将偏离时发出警报
行人碰撞辅助（PCW）	前视	单目/双目	监测前方道路的行人，并在可能发生碰撞时发出警报
交通标志识别（TSR）	前视	单目/双目	识别车辆前方道路两侧的交通标志
盲点监测（BSD）	侧视	广角	监控车辆盲区障碍物
泊车辅助（PA）	后视	广角	泊车或倒车时，预测出倒车轨迹，辅助倒车
驾驶员注意力监测（DM）	内置	广角	安装在车内，监控驾驶员的驾驶状态
360 环视（AVM）	前侧后	鱼眼/广角	使用车辆前后摄像头获取拼接图像，输出车身周围的全图

• 1.4 规级摄像头的性能要求

所谓车辆规级，就是要满足车辆零部件的资质和质量体系标准。目前，汽车行业的标准是ISO/TS 16949 和 ISO26262。前者是以ISO9001：2008 基于标准，建立汽车相关产品的设计、开发、生产和相应的安装和服务质量管理体系，适用于整个汽车供应链的组织；后者是电子、电气和可编程设备功能安全的国际标准IEC61508 衍生的，针对提高汽车电子、电气产品功能安全的国际标准，定位汽车行业特定的电气设备、电子设备、可编程电子设备等汽车零部件。一般来说，16949 用于规范一般汽车零部件供应商的质量管理体系，26262 国际标准用于汽车电子和软件企业的电气产品功能安全。

对于车辆级摄像头，由于车辆全天候运行，对光线和温度变化（如隧道、北方冬季极端寒冷场景等）的要求较高，可满足车辆振动的要求，因此自动驾驶摄像头主要需要满足：

• 1)耐高温:车载摄像头需要-40℃-85℃能正常工作，能适应温度的剧烈变化；
• 2）抗震：车辆在路面行驶时会产生较强的震动，所以车载摄像头必须能抗各种强度的震动；
• 3)防水：车辆需要全天工作，需要密封相机，满足雨水浸泡仍能正常使用；
• 4)使用寿命:车载摄像头至少使用寿命 10 年；
• 5)高动态低噪声:车辆需要全天候运行，摄像头面临的光环境变化剧烈频繁，需要摄像头 CMOS 具有高动性；在光线较暗时，能够有效的抑制噪点的产生；
• 6）对于某些特定功能的摄像头，如侧视摄像头、环视摄像头等，还需要水平视场角比较广。

• 1.5 摄像头的优劣势分析

• 相比于毫米波雷达，摄像头能够对目标类别进行准确的识别，对车道线（路沿）、红绿灯、交通标志准确的识别，同时还能够检测出车辆行驶的安全边界，对横向移动的目标具有很强的探测能力（十字路口横穿的行人、车辆进行探测和追踪）。
• 相比于激光雷达，其廉价的成本，精准的交通标识和信号灯的识别等都是激光雷达无法比拟的。
• 但摄像头受天气、光照影响较大，在极端恶劣天气下视觉传感器就会失效；且视觉测距、测速性能远比不上激光雷达和毫米波雷达。

• 1.1.6 摄像头关键参数

在选择摄像头时，一般参考如下几个参数指标：有效的探测距离，水平视场角，垂直视场角，分辨率，最低照度(CMOS 对环境光线的敏感程度)，信噪比(输出的信号电压和噪声电压的比值)，动态范围(正常显示细节的最亮和最暗物体的亮度值所包含的那个区间)。

2、激光雷达（Lidar）

2.1.1 概述

• 激光雷达(Lidar)，全称Laser Detecting and Ranging，即激光探测和测距，是一种用于精确获得三维位置信息的传感器，可以确定目标的位置、大小、外部轮廓等。与毫米波雷达工作原理相似，激光雷达通过发射和接收激光束，获取空间的位置点信息（即点云），并根据这些信息进行三维建模。
  除了获取位置信息外，激光信号的反射率还可以区分目标物质的不同材质，激光雷达的线束越多，其测量精度越高。由于激光的频率高，波长短，可以获得极高的角度、距离和速度分辨率，这就意味着可以利用多普勒成像技术，构建出清晰的3D 图像。

2.1 工作原理

激光雷达一般包括发射系统、接收系统、信息处理三大部分组成，部分激光还包括扫描系统。

• 1）发射系统：包括激励源、激光器（也叫激光二极管）、光速控制器（包括透镜、反射器件、衍生器件，具体表现为准直镜、分束器、扩散片）等；由激励源周期性地驱动激光器，发射激光脉冲，激光调制器通过光束控制器控制发射激光地方向和线数，最后通过发射光学系统，将激光发射到目标物体；
• 2）接收系统：包括光电探测器、接收模块（包括透镜、分束器、窄带滤光片）等硬件；目标物体反射回来的激光，经过接收系统，将其汇集到探测器的光敏面后，传递给光电探测器，然后将光信号转化为电信号；
• 3）信息处理：包括放大器、数模转换器以及软件算法等；主要用来接收转换后的电信号经过放大处理、降低噪声和干扰后，进行数模转换，由信息处理系统计算，获得目标表面形态、物理属性等特性，最终建立物体模型；算法大体分为三类：点云分割算法、目标跟踪与识别算法、即时定位与地图构建算法等；
• 4）扫描系统：以稳定地转速旋转起来，实现对所在平面地扫描，并产生实时地平面图
  信息，主要由电机、扫描镜、MEMS 微型谐振镜、相控阵等组成（Flash 中不包含扫描系统）

• 激光雷达是向目标发射激光探测信号束，然后将收到的从目标反射回来的信号（目标回波）与发射信号进行比较，测量发射信号与接收信号地时间差或者相位差，获得目标的距离信息，然后通过水平旋转扫描来测量角度，建立二维极坐标系，然后通过不同的俯仰角度信息，获得目标的高度信息等，从而完成对目标的探测、跟踪、识别。下图可以反映出激光雷达的组成：

激光雷达的测距有两种，一种是基于时间的测量方法，也叫飞行时间法（TOF），另一种是不基于时间的测距法。

• 基于时间的测量方法又分为脉冲法和三角法两种。
  1）脉冲法，也称为直接法，数学模型如下：距离 = 光速 * 往返时间 / 2
  2）三角法，也叫间接法，如下图：

• 激光雷达发射器发射激光，经过物体(object)反射后被Imager 捕捉，假设捕捉点为𝑥2，通过焦点O 作一条虚线平行于入射光线，与 Imager 交于𝑥1，由于图中β已知，所以可以得到𝑥1的位置。假设𝑥1与𝑥2之间的距离为𝑥，可以得到左右两个三角形相似，所以有：𝑞/f = s / x ;又因为sin β = 𝑞 / 𝑑 ;
  二者联立可得：𝑑 =(𝑠𝑓)/(𝑥 sin β) .这就得到了物体到激光的距离𝑑。

• 三角式结果比较简单，测试速度快，但对器件的灵敏性要求高，主要应用在微位移测量，比如物体表面轮廓、宽度、厚度等。不光是脉冲法还是三角法，都需要测量激光的往返时间，难度较大，精度相对低，所以有了不依赖时间的相位式的测量方法。
  相位式方法不以时间为基准，而是将调制信号对激光光强进行调制，通过测量相位差来检测测量往返时间，其数学模型如下：
  

• 其中𝐷为距离，𝐵为激光往返一次所产生的相位差，𝐴为调制信号的波长，𝐴/2 称为测尺，即相位变化为2π时所对应的距离。相位法适合中短距离的测量，是目前测距精度较高的一种方式。除了相位差或者时间差方法，还有一种是类似于毫米波雷达的调频连续波（FMCW）方法，通过比较反射信号与发射信号频率来确定目标距离信息的方法，具体参见毫米波雷达的测距。

• 2.3 激光雷达的特性

激光雷达相比于其他传感器，在自动驾驶中的特性各有不同。评价一个激光雷达性能的好坏，主要从以下几个角度考虑：

• 1）视场角，包括水平视野（是否 360 度全视角旋转）和垂直视野（俯仰角角度 30 度/15度）；
• 2）分辨率，包括水平分辨率和垂直分辨率；目前水平高分辨率可以做到很高，水平分辨率高度达0.1 度，主要因为水平方向上由电机带动的；垂直分辨率与发射器几何大小相关，也与排列有关，相邻两个发射器的间隔越小，垂直分辨率也越小；针对机械式激光雷达，可以通过a）改变激光发射器和接收器排布的方式，b）通过多个16 线激光雷达耦合的方式，两种方式来达到减小垂直分辨率的效果；
• 3）测距范围，即最远的探测距离；
• 4）距离精度，一般是厘米级的精度；
• 5）刷新频率，即激光返回一圈的时间；
• 6）扫描频率，即 1s 内雷达进行了多少次扫描；
• 7）激光波长，通常为纳米级，最常见的时 905nm 和 1550nm，其中 905nm 比 1550 更便宜，但 1550nm 对人眼安全性高，但 1550nm 吸水率比 905nm 强，但 905nm 的光损失更少；最大辐射功率，主要用来判断其是否需要添加防护。

从某种意义上将，激光雷达也算是一种视觉传感器，相比于其他传感器，激光雷达有自己的优势：

• 1）不受光线的干扰，激光雷达可以全天候进行运作，它只需要接收激光束的回波信号来获取目标信息，所以，如阴影，黑夜等对激光雷达的影响很小；
• 2）获取的信息量丰富，可以获取目标的三维信息，距离、角度、反射强度、速度等，生成目标多维度图像；
• 3）激光雷达波长短，可发射发散角非常小的激光束，其多路径效应小（不会形成定向发射，与微波或者毫米波产生多路径效应），可以探测低空或超低空目标，能有效解决近距离横向视觉盲区问题；
• 4）激光雷达的有效距离比摄像头远，在低速时，视觉采样点不足，拟合的车道线准确度较低，而激光有效的采样点较多，精准度远高于视觉系统；相比于毫米波雷达，激光雷达的工作频率高于毫米波数个量级，具有极高的距离分辨率、角分辨率和速度分辨率；
• 5）低速近距离状态下，对于未知物体或者有遮挡物体，激光雷达的目标检测能力要优于摄像头；
• 6）点云前处理算力较低，可以直接通过点云进行高密度绘制，输出通行空间，无需二次转化。

• 2.4 激光雷达的分类

目前激光雷达的分类标准有很多种，常见的一种是按照内部有无旋转部件来划分，可以分为机械旋转激光雷达、混合式激光雷达以及固态激光雷达。

• 1）机械式激光雷达

• 机械式激光雷达：通过机械旋转实现激光扫描的激光雷达，激光发射部件在竖直方向上排布成激光光源线阵，可通过透镜在竖直面内产生不同指向的激光光束；在步进电机的驱动下持续旋转，竖直面内的激光光束由“线”变成“面”，经旋转扫描形成多个激光“面”，从而实现探测区域内的 3D 扫描。

• 2）混合式激光雷达

• 混合式激光雷达（MEMS）：将微机电系统（MEMS）与振镜结合形成 MEMS 振镜，通过振镜旋转完成激光扫描，驱动电路驱动激光器产生激光脉冲同时驱动 MEMS 振镜旋转，激光在旋转振镜的反射下实现扫描，经发射光学单元准直后射出；

• 3）固态激光雷达

• 固态激光雷达，取消了机械扫描结构，水平和垂直方向的激光扫描均通过电子方式来实现，相比于 MEMS 激光保留“微动”机械结构，其电子化更彻底。固态激光雷达主要包括光学相控阵（OPA）激光雷达和面阵闪光型（Flash）激光雷达两种。

• a：光学相控（OPA）激光雷达，是由若干发射接收单元组成一个矩形阵列，通过改变阵列中不同单元发射光线的相位差，达到调节发射波角度和方向的目的；激光光源经过光分束器后进入光波导阵列，在波导上通过外加控制的方式改变光波的相位，利用波导间的光波相位差来实现光束扫描；

• b：面阵闪光（Flash）激光雷达：采用类似相机的工作模式，运行时，直接法射出一大片覆盖探测区域的激光，随后由高灵敏度接收器阵列计算每个像素对应的距离信息，记录光子飞行的时间信息，从而完成对周围环境的绘制。

• 不管如何分类，每种激光雷达都有其各自的优缺点，总结如下：

• 机械式激光雷达

	优	缺
机械式激光雷达	拥有 360°视场角，测量精度相对较高	线束越高，体积越大；价格昂贵，旋转部件可靠性低

• 混合式激光雷达

• 优点：

• 1）MEMS 微振镜相对成熟，可以以较低的成本和较高的准确度实现固态激光扫描（只有微小的微振镜振动），并可以针对需要重点识别的物体进行重点扫描，落地快； 2）传感器可以动态调整扫描方式，以此来聚焦特殊物体，采集更远更小物体的细节信息并对其进行识别；

• 缺点：

• 1）没有解决接收端问题，光路较复杂，依然存在微振镜的震动，结构会影响整个激光雷达部件的寿命，且激光扫描受微振镜面积限制，与其他技术路线在扫描范围上存在一定差距；
  2）存在激光的反射，反射过程中激光会有较大的损失，导致回波信噪比偏低；

• 光学相控（OPA）激光雷达

• 优点：

• 1）结构简单，尺寸小； 2）标定简单
  3）扫描速度快，扫描精度高 4）可控性好，光束指向完全由电信号控制，在允许角度范围内可以做到任意指向； 5）多目标监控，相控阵面分割为多个小模块，每个模块单独控制就可以监控多个目标

• 缺点：

• 1）扫描角度有限；
  2）光栅衍射除了中央明纹外还会形成其他明纹，这就造成激光雷达最大功率外形成旁瓣，分散激光能量；
  3）加工难度高，由于光学相控阵要求阵列单元尺寸必须不大于半个波长，一般激光雷达的工作波长为 1 微米，所以阵列单元的尺寸必须大于500nm；
  4）接收面大、信噪比差

• 面阵闪光（Flash）激光雷达

• 优点：

• Flash 激光束直接向各个方向漫射，可以快速记录环境信息，避免扫描过程中目标或激光雷达移动带来的运动畸变

• 缺点：

• 1）Flash 视场角受限，扫描速率较低；

• 2）探测距离小，当目标距离过大时，会导致返回的光子数有限，导致探测精度降低，无法准确感知目标方位

• 2.5 激光雷达在自动驾驶中的应用

随着 2005 年 Sick 和 Velodyne 激光雷达在自动驾驶上的亮相，激光雷达便成为自动驾驶汽车的标配。激光雷达可以实现很多的功能：

• 1）感知，前面已经介绍了，Lidar 通过扫描得到障碍物反射回的点云后采用分类聚类或者深度学习的方法进行障碍物检测，目前Lidar 已经可以高效的检测行人和车辆，输出检测框或者对点云中的每个点输出 label 进行点云分割，还有使用 Lidar 进行车道线检测或者路面探测的。但如何在包含遮挡、背景干扰、噪声以及数据分辨率变化等复杂场景中实现对目标的检测识别与分割，依然是激光雷达存在的一个挑战性的问题。

• 2）标定，就是给出不同的传感器数据集，找出两个数据集的空间变换关系，使得两个数据集统一到同一坐标系的过程。标定分为静态标定和动态标定两种。静态标定一般用来确定传感器的初始姿态信息，主要依赖转台标定、物体表面标记点或者人工选点的方法来实现。动态标定一般用来解决车辆运动过程中，传感器之间相对姿态信息变换的问题。一般标定方法首先采用最小张树方法和连接图算法实现数据间的邻接关系，再采用关键点、线、面匹配的方法，求解出传感器的姿态信息。

• 3）里程计与定位，根据标定得到的相对姿态变换关系后，利用传感器数据来估计载体车辆姿态随时间的变化改变关系。如利用当前帧与上一帧进行数据匹配，或者利用当前帧和累计帧构建出来的子图进行匹配，得到微子变换关系，从而实现里程计的作用。当使用当前帧与整个点云地图进行匹配时，就可以得到传感器在整个地图中的位姿，从而实现在地图中的定位。

3、毫米波雷达（radar）

• 3.1 概述

毫米波是一种波长介于 1-10mm 的电磁波，其波长短、频段宽，比较容易实现窄波束，具有分辨率高，不易受干扰等特点。毫米波雷达是采用毫米波对目标进行探测，获取目标的相对距离、相对速度、方位的高精度传感器。

• 相比于微波制导和光电制导，具有如下优点：
  毫米波导引头具有体积小、质量轻、空间分辨率高的特点；
• 毫米波导引头穿透雾、烟、灰尘的能力强，传输距离远，具有全天候全天时的特点； 毫米波性能稳定，不受目标物体形状、颜色的干扰，能够很好的弥补如红外、激光、超声波、摄像头等其他传感器在车载应用中不具备的使用场景。
• 在智能驾驶领域，毫米波雷达应用非常广泛，与激光雷达相比，毫米波雷达技术更为成熟，已经广泛应用于汽车的安全系统中。且毫米波雷达成本低，对雨雾、灰尘、光线等不敏感。
• 车载毫米波雷达的探测距离一般在 150m-250m 之间，有些可以达到300m，可以满足汽车在高速运动时探测较大范围的需求。车载毫米波雷达的工作频率一般为 24GHz 和77GHz。

• continental 的 ARS-408 雷达示意图
  

• 3.2 工作原理

1）基本结构

• 根据辐射电磁波方式不同，毫米波雷达主要有脉冲体制以及连续波体制两种。不管哪种工作方式的毫米波雷达，其硬件部分大体相同，只有小部分电路模块、电路参数与信号处理算法有所区别，主要部分包括 MMIC 芯片和天线 PCB 板。MMIC 全称前端单片微波集成电路，包括多种功能，如低噪声放大器（LNA），功率放大器、混频器、收发系统等功能；雷达天线高频 PCB 板是将高频 PCB 板集成在普通的 PCB 基板上实现天线的功能，需要在较小的集成空间中保持天线足够的信号强度。

由于可以测量多个目标、分辨率高、信号处理复杂度低、成本低廉、技术成熟等一系列优点，FMCW 雷达是最常用的车载毫米波雷达。
FMCW 调频连续波雷达有三种不同调制形式：

• 1）正弦波调制；
• 2）锯齿式波调制；
• 3）三角波调制。
  对于单个静止物体的测量，锯齿波调制方式即可满足；对于运动物体，多采用三角波调制方式；

2）工作原理

车载毫米波雷达利用高频电路产生特定调试频率(FMCW)的电磁波，并通过天线向外发射和接收目标反射的电磁波，然后计算发送和接收电磁波的参数以获取目标的物体信息（如相对距离、相对速度、角度、运动方向等），并进行目标追踪和识别分类，进而结合车身动态信息进行数据融合，最终通过中央处理单元（ECU）进行智能处理。

• 大概状态图如下：

3）毫米波雷达测距、测速、测方位角原理简介

• 测距：通过给目标连续发送电磁波，然后利用传感器接收从物体返回的电磁波，通过探测电磁波的飞行（往返）时间来获得目标物距离。
• 测速：根据多普勒效应，通过计算返回接收天线的雷达波的频率变化就可以得到目标相对于雷达的运动速度，简单来说就是相对速度正比于频率变化量。
• 测方位角：通过并列的接收天线收到同一目标反射的雷达波的相位差来计算得到目标的方位角。

• 3.3 毫米波雷达在自动驾驶中的应用

目前，各个国家对车载毫米波雷达分配的频段各有不同，但主要集成在 24GHz 和77GHz，少数国家（如日本）采用 60GHz 频段，由于 77GHz 相对于 24GHz 的诸多优势，再加之欧洲电信标准化协会（ETSI）和联邦通信委员会（FCC）制定的频谱规则和标准，未来车载毫米波雷达的频段会趋同于 77GHz 频段（76-81GHz）。

1）24GHz 毫米波雷达

• 24GHz 毫米波雷达是指频段在 24.0GHz 到24.25GHz 的雷达。其属于窄带（NB），带宽为 250MHz，常用于工业、科学和医学方面。另外 24GHz 频带还包括一个带宽为 5GHz 的超带宽（UWB）。这个频段的毫米波雷达目前大量用于汽车的盲区检测、辅助变道等，主要用作侧向雷达。24GHz 毫米波雷达主要优点为探测范围光；缺点是频率低，带宽窄，只有250MHz，探测距离近。

• 2）77GHz 毫米波雷达

• 77GHz 毫米波雷达指的是频段在 76-81GHz 的车载雷达。其中76-77GHz 频段可用于远程车载雷达，这个频段的频率高，带宽也高，可以达到 800MHz。该频段有等效同性各向辐射功率(EIRP)的优势，可用于前端远程雷达，探测前车与本车的相对距离和相对速度，实现如自适应巡航控制等功能。
• 77-81GHz 雷达是新加入的短程雷达（SRR）频段，这个频段的最大特点是带宽非常高，可高达 4GHz 的宽扫描带宽，具有非常高的距离分辨率（HRR）。在无人驾驶应用领域，用于区分行人等诸多精细物体比较有价值。
  

• 3）24GHz 与77GHz 毫米波雷达性能对比

• a) 严格意义上讲，24GHz 毫米波雷达其波长大于 10cm，属于厘米波雷达；
• b) 相比于24GHz，77GHz 能同时满足高传输功率和宽工作带宽，所以可以用来进行长距离探测和高距离分辨率；
• c) 相比于24GHz，77GHz 在物体分辨率、测速、测距精度上具有显著优势；
• d) 相比于24GHz，77GHz 雷达体积更小，其波长不足 24GHz 的三分之一，所以收发天线面积大幅减小，整个雷达尺寸有效下降。

• 4）4D 毫米波雷达

目前的车载毫米波雷达虽然能够很好的探测目标的相对距离，但对目标的高度无法探测。这是因为目前的车载毫米波雷达只在二维方向上排布，再加上多普勒效应，所以只会输出目标的二维水平坐标和速度信息，即X，Y，V。也被称为3D 雷达。
目前有一些厂商在水平和垂直方向上均布置了天线，能够额外实现对物体高度的探测，输出量为X，Y，Z 坐标和速度矢量。也就是所谓的4D 雷达。4D 雷达可以探测出目标的不同高度，不同水平面上的运动物体。

• 但4D 雷达研发存在一些问题和难点：

• a）在有体积要求的毫米波雷达上，垂直与水平方向天线紧密排布会相互产生严重的信号干扰，这需要长期的经验积累开发的算法来解决；
• b）雷达信号接收量大大增加，对模数转换器（ADC）的性能要求将会增加；
• c）信号处理算法的可靠性、实时性需要保证，现有的毫米波雷达ECU 可能无法胜任大规模点云的处理；
• d）数据存储需求将会加大，需要额外添置存储单元。

• 3.4 毫米波雷达的优劣势

总结上述，在车载传感器领域，毫米波雷达具有独特的优势：

a） 纵向目标探测距离与速度探测能力强；
b） 可实现远距离感知与探测；
c） 对于静态和动态目标均能做出高精度测量；
d） 相比于摄像头和激光雷达，毫米波雷达穿透能力强，受外界干扰比较小。

但毫米波雷达也有其明显的劣势：

a） 无法成像，无法进行图像颜色的识别；
b） 对横向目标敏感度低，如对横穿车辆检测效果不佳；
c） 行人反射波较弱，对行人分辨率不高，探测距离近；
d） 对高处物体以及小物体检测效果不佳等。

• 3.5 毫米波雷达性能参数

在选择毫米波雷达时，通过如下的性能参数进行考核，包括距离、速度、角度等。

• 1）距离

• a. 最大探测距离

雷达的作用距离有两种，一种与发射功率𝑃𝑡，天线增益𝐺𝑎，目标RCS，接收机灵敏度(SNR)det等参数相关的雷达方程，具体计算公式如下：

另一种方法与最大中频带宽IFmax相关，计算公式如下：

最大中频带宽的大小与采样率相关，在 complex 1x 模式下，𝐼𝐹𝑚𝑎𝑥 ≤ 0.9 ∗ 𝑓𝑠；在complex2x 和实采样模式下，𝐼𝐹𝑚𝑎𝑥 ≤ (0.9∗𝑓𝑠) / 2；
所以也可以用下式来估计最大作用距离：

• b. 距离分辨率

距离分辨率表示距离分辨两个目标的能力，在雷达图像中，当两个目标位于同一方位角时，但与雷达的距离不同时，二者被雷达区分出来的最小距离就是距离分辨率。雷达的距离分辨率是由脉冲的宽度决定的，即可以通过减小脉冲宽度以达到期望的距离分辨率，其表达式如下：

• c. 测距精度

测距精度是用来描述雷达对单个目标距离参数估计的准确度，它是由回波信号的信噪比SNR 决定的：

• 2)速度

• a. 最大探测速度

目标速度与多普勒频率（即 chirp 之间的相位差）来计算。多普勒频率可以表示为：

当相位测量不模糊时，即 |△ ϕ| < π，就可得到最大测量速度：

其中为chirp 总周期（包括 active chirp time + idle time）。

• b. 速度分辨率

速度分辨率表示速度维区分两个同一位置目标的能力。假设一帧传输𝑁个 chirp，速度维频率分辨率为：2π / N

其中𝑇𝑓 = 𝑁𝑇𝑐为有效帧周期，不包含 inter frame time。

• c. 测速精度

测速精度表示测量单目标的速度准确率，同样也取决于信噪比。

• 3角度

• a. 探测视角范围FOV

雷达的探测角度是通过RX 天线间的接收信号相位差(由波程差引起)来计算，相位差为：

当相位差不模糊时，即|ω| < π，得到角度范围：

• b. 角度分辨率（一般指水平分辨率）

角分辨率表示雷达在角度上区分邻近目标的能力，通常以最小可分辨的角度来度量。雷达的角度分辨率取决于雷达的工作波长λ 和天线口径尺寸 L，约为λ/(2L)，具体计算方式如下。比如方位角分辨率为 1.6°，就是指两个物体在空间上至少相距1.6°，才能够被雷达在水平角度上区分开。若两个物体相距小于1.6°，那么在角度上两个物体会重合。

假设接收天线个数为𝑁𝑅𝑋，角度上频率分辨率为2π / Nrx ，则有:

所以有：

在实际应用中，一般不用角度分辨率来区分目标。由于距离、速度分辨率较高，目标一般可以在距离、速度维度上就可以区分开。

• c. 测角精度
  角精度，用于描述雷达对单个目标方位角估计的准确度，角精度也与信噪比相关：
  

4、惯性测量单元（IMU）

4.1 概述

惯性测量单元（Inertial Measurement Unit，IMU)俗称惯性传感器，主要用来检测 和测量加速度与旋转运动的传感器。主要是采用惯性定律实现的。

• 车载惯性传感器（Micro-Electro-Mechanical-System，即MEMS）是汽车传感器 的主要部分，其主要由3个轴加速计和3个角速度计（陀螺仪）组成，加速度计检测物体在 载体坐标系独立三轴的加速度信号，陀螺仪检测载体相对导航系统坐标系的角速度信号。加 速度计和陀螺仪安装在相互垂直的测量轴上，通过算法对信号进行处理后，便可计算出物体 的姿态。

• IMU提供的是一个相对的定位信息，其作用是测量相对于起点物体所运动的路线，所以 IMU不能提供所在的具体位置信息，所以经常和GPS一起使用，当在某些GPS信号微弱时 ，IMU就可以帮助汽车获得绝对位置的信息.

4.2 工作原理

• 加速度计

IMU中的加速度计主要是靠MEMS中可移动部分的惯 性。如下图: IMU中间有块质量很大的电容板，它是一种悬臂构 造，当速度变化或者加速度达到足够大时，其所受到 的惯性力超过固定或者支撑它的力时，就会移动，与 上下电容板之间的距离就会变化，上下电容也因此变 化。电容的变化跟加速度成正比，根据不同的测量范 围，中间电容板悬臂构造的强度或弹性系数可以设计 的不同。另外如果要测量不同方向的加速度，这个 MEMS的结构也会有很大不同。

• 角速度计

IMU的角速度计其主要原理是利用角动量守恒原 理以及Corolis force(科里奥效应）测量运动物体 的角速率。与加速度计的工作原理相似，角速度计上层活动金属与下层金属形成电容，当角速度计转 动时，它与下面电容板之间的距离会发生变化，上 下电容也会因此改变。即角速度计的转轴指向不随 其支架的旋转而变化。电容的变化与角速度成正比 ，由此测量得到当前的角速度。 如左图来描述角速度计的数学模型。

• IMU特性
  IMU测量的数 据通常会有一定的误差。其误差可以分为:
  
• 影响因素
  加速度计影响因素 ：角速度计的精确性可以直接影响姿态解算 的优劣程度，即IMU能否正确感知到物体 的姿态就是依靠角速度计的精确性。
  角速度计影响因素 角速度计的精确性可以直接影响姿态解算 的优劣程度，即IMU能否正确感知到物体 的姿态就是依靠角速度计的精确性。
  温度影响因素 IMU在温度发生变化时，其精度会产生较 大的差异，所以一般需要在恒温台中进行 时间，记录不同温度下的数据。
  产品化影响因素 产品化后，也会有一些因素影响其性能。 如：噪声、偏移等因素
  除了精度外，IMU还有两个比较关键的特性，第一是更 新频率高，工作频率可以达到100Hz以上，第二是短时间内 的推算精度高，不会有太大的误差。

• 4.3 应用
  高 精度定位有两层含义：

• 1）自车与周围环境之间的 相位位置，即相对定位；

• 2）自车的精确经纬度， 即绝对定位。

GPS可以为车辆提供精度为米级的绝对定位， 差分GPS或者RTK GPS可以为车辆提供厘米级的绝 对定位，但并非所有路段所有时间都能够得到良 好的GPS信号。所以一般需要RTK GPS的输出与IMU 、车身传感器（轮速计、方向盘转角传感器等） 进行融合。

• 4.4 作用：

1）IMU可以验证RTK GPS结果的自洽性，并对无法自洽的绝对定位数据进行滤波和修正；

2）IMU可以在RTK GPS信号消失之后，仍然提供持续 若干秒的亚米级定位精度，为自动驾驶汽车争取宝贵的异常处理的时间。

5、GNSS 与 RTK

• 5.1 概述
  GNSS全称Global Navigation Satellite System， 是利用一组卫星的伪距、星历、卫星发射时间等 观测量，同时还必须知道用户钟差。全球导航卫 星系统是能在地球表面或近地空间的任何地点为 用户提供全天候的3维坐标和速度以及时间信息 的空基无线电导航定位系统。只需4颗卫星，就 能获得目标经纬度和高度。

• GPS全称Global Positioning System，是一种以人造地球卫星 为基础的高精度无线电导航的定 位系统，它在全球任何地方以及 近地空间都能够提供准确的地理 位置、车行速度及精确的时间信 息。

• GNSS它是泛指所有的卫星导航系统，包括全球的、区域的和增强的， 如美国的GPS、俄罗斯的Glonass、欧洲的Galileo、中国的北斗卫星导航系 统，以及相关的增强系统，如美国的WAAS（广域增强系统）、欧洲的EGNOS （欧洲静地导航重叠系统）和日本的MSAS（多功能运输卫星增强系统）等 ，还涵盖在建和以后要建设的其他卫星导航系统。国际GNSS系统是个多系 统、多层面、多模式的复杂组合系统。

• RTK（Real - time kinematic，实时动态）载波相位差分技术，是实时处理两个测量站载波相位观测量 的差分方法，将基准站采集的载波相位发给用户接收机，进行求差解算坐标。厘米级定位精度，是GPS应用的 重大里程碑。其原理是将位于基准站上的GPS接收机观测的卫星数据，通过数据通信链（无线电台）实时发送 出去，而位于附近的移动站GPS接收机在对卫星观测的同时，也接收来自基准站的电台信号，通过对所收到的 信号进行实时处理，给出移动站的三维坐标，并估计其精度。利用RTK测量时，至少配备两台GPS接收机。

• 5.2 应用

GNSS:国内用的多的是GPS+北斗+GLONASS三套卫星导航系统；

◆ 在自动驾驶领域，GNSS高精度定位涉及到五个必要的时空因素：GNSS卫星、高精度地图、全疆域通讯网络覆盖、GNSS基站、移动端GNSS接收机；

◆ GNSS与其他传感器的结合 ：在自动驾驶领域，多传感器共同工作的环境，也使该领域对GNSS设备的精确 性、抗干扰性提出了更高的要求。未来，每辆自动驾驶汽车都将配备有多种传感器，包括激光雷达、毫 米波雷达、摄像头、惯性测量单元和GNSS系统；

◆ GNSS定位可以为自动驾驶提供全局定位信息的来源。GNSS是通过使用三角定位法，通过3颗以上的卫星， 可以准确地定位地球表面的任一位置。但由于GPS是有很大的误差，通过使用RTK技术，GNSS可以提供精 确到厘米级别的定位精度；

◆ GNSS+IMU方案是一种最常用的组合惯导系统的方案

6、其他类型传感器

超声波雷达

6.1 概述

超声波雷达是一款极为常见的传感器， 在汽车驻车或者倒车时，经常会听到嘀嘀嘀 的声音，这些声音就是根据超声波雷达对周 围障碍物的探测距离的反馈信息，以声音的 形式传递给司机，所以超声波雷达也叫倒车 雷达。 车载超声波雷达一般安装在汽车保险杠上 方，隐藏在保险杆的某个位置。

6.2 工作原理

超声波雷达的工作原理是通过超声波发射装 置向外某一个方向发射出超声波信号，在发射超 声波时刻的同时开始计时，超声波通过空气进行 传播，途中遇到障碍物就会立即反射传播回来， 超声波接收器在收到反射波的时刻立即停止计时 。在空气中，超声波的传播速度为340m/s，计时 器通过记录时间t，就可以测算出从发射点到障 碍物之间的距离长度（s），即s=340*t / 2。 目前，超声波雷达探头的工作频率有40kHz ，48kHz和58kHz三种。一般来说，频率越高， 灵敏度越高，但水平和垂直方向的探测角度就越 小，所以一般采用40kHz的探头。

6.3 超声波雷达类型

常见的超声波雷达有两种：

◆ 一种是安装在汽车前后保险杠上的，用于测量汽车前后障碍物的倒车雷达，即所谓的UPA，探测 距离一般在15~250cm；

◆ 一种是安装在汽车侧面的，用于测量侧方障碍物 距离的超声波雷达，即所谓APA，探测距离一般 在30~500cm，相比于UPA，APA的探测范围更远， 但成本更高，功率更大。

6.4 超声波雷达的优劣势

优点：

因其固有的特性，在传播过程中，能量消耗比较慢；
在介质中传播的距离比较远，穿透性强，即使在雨雾 灰尘或者少量泥沙遮挡的条件下，都能够有很好的测 距性能；
且测距方法简单，成本较低；
缺点：

超声波雷达探测的距离与其传播速度、传播时间相关 （距离=速度*时间/2）；
在车辆高速运行的状态下，其测量距离也有一定的局限性
超声波雷达散射角较大，方向性差，无法精准的描述 障碍物的位置
应用：
超声波雷达在智能驾驶领域除了障碍物探测外，还有其他的功能，如泊车库位检测，高速横向辅助。