??全全国大学生智能汽车竞赛是以智能汽车为研究对象的创意技术竞赛，是全国大学生的探索性工程实践活动，是教育部倡导的大学生技术竞赛之一。该竞赛以 立足培养，注重参与，鼓励探索，追求卓越 为了指导思想，旨在促进高校素质教育，培养大学生的综合知识应用能力、基本工程实践能力和创新意识，激发大学生从事科学研究和探索的兴趣和潜力 ,倡导理论联系实际、求实务实的学风和团队合作的人文精神，为优秀人才的脱颖而出创造条件。该竞赛由教育部高等教育司委托教育部高等学校自动化类专业教学指导委员会主办，负责指导全国范围内的竞赛工作。

??参赛者必须使用竞赛秘书处统一指定，负责购买竞赛车型，以指定的微控制器为核心控制单元，独立构思控制方案和系统设计，包括传感器信号采集处理、控制算法和执行、动力电机驱动、转向舵控制等，完成智能汽车工程生产调试，在指定日期和地点参加现场比赛。参赛队伍的排名(成绩)主要由赛车现场成功完成赛道的时间决定，辅以技术方案和生产工程的质量评分。

??使用恩智浦公司 RT1064单片机的主控制器，1064单片机配备了1024KB的 RAM，在做更复杂的算法时，可以放置更多的数组或变量来满足多少需求 RAM的需求，GPIO速度高达 150M

??使用逐飞技术 MT9V03X(总钻风)摄像头作为光电传感器采集轨道图像，通过一块 51单片机与主控制器通信，然后配置摄像头的相关信息，触发主控制器开始图像采集和像素中断控制采集速度。

??姿态传感器分为速度传感器和角速度传感器，其中速度传感器 mini512线编码器用于闭环控制电机；角速传感器用于实时掌握模具的姿态，可以有效控制模具和地面的状态，更有效地实现闭环控制。

??该系统配有两个舵机，一个舵机使用比赛规定 Futaba S3010舵机控制车模转向，另一个舵机是 DG995数字舵机 OpenARTmini方向控制

??使用比赛规定 RN-380电机控制车模速度。

??智能识别模块分为两部分，一部分是识别，另一部分是执行。识别部分采用逐飞技术 OpenARTmini用于特定位置图像识别的摄像头。执行部分包括舵机和激光

??1)舵机位于前部，立式安装，既保证响应速度，又符合阿克曼转角原理；
??2)电池用扎带固定在后面，平衡重心；
??3)摄像头通过碳杆、金属支架和 AB胶水固定在舵机上，有效收集轨道信息；

??前轮定位对赛车速度影响很大。虽然车型相对较小，但前轮定位的作用不容忽视。车轮定位包括：主销后倾、主销内倾、前轮前束。

??转向轮(前轮)围绕主销旋转，前轴的轴荷通过主销传递给转向，具备这两点的就叫做主销。主销向后倾斜，主销轴线与地面垂直线在赛车纵向平面内的夹角称为主销后倾。如图所示：

  前轮重心在主销的轴线上，由于主销向后倾斜使前轮的重心不在车轮与地面的接触点上，于是产生了离心力，主销后倾形成的离心力，可以保证汽车直线行驶的稳定性，还可以帮助车轮自动回正。

  主销在横向平面内向内倾斜，主销轴线与地面垂直线在赛车横向断面内的夹角称为主销内倾角。主销内倾角也有使轮胎自动回正的作用，当汽车转向轮在外力作用下发生偏转时，由于主销内倾，则车轮连同整个汽车的前部将被抬起一定高度，在外力消失后，车轮就会在重力作用下力图恢复到原来的中间位置。但主销内倾角不宜过大，否则在转弯时轮胎将与赛道间产生较大的滑动，从而会增加轮胎与路面间的摩擦阻力，使转向变得沉重，同时会加速轮胎的磨损。经过反复的试验，我们大约主销内倾了 3°。

  通过车轮中心的汽车横向平面与车轮平面的交线与地面垂线之间的夹角，称为前轮外倾角。前轮外倾角是前轮的上端向外倾斜的角度，如果前面两个轮子呈现 “V”字形则称正倾角，呈现 “八”字则称负倾角。前轮外倾可以抵消由于车的重力使车轮向内倾斜的趋势，减少赛车机件的磨损与负重。前轮前束是前轮前端向内倾斜的程度，当两轮的前端距离小后端距离大时为内八字，前端距离大后端距离小为外八字。由于前轮外倾使轮子滚动时类似与圆锥滚动，从而导致两侧车轮向外滚开。但由于拉杆的作用使车轮不可能向外滚开，车轮会出现边滚变向内划的现象，从而增加了轮胎的形变，同时由于 C1型车模的轮胎是空心材质，可以与地面进行有效的贴合，同时由于 S3010舵机的响应速度较快，使用内八字有助于车模在直道行进的过程中更加贴合中线。

  对于整个车来说，摄像头的安装影响到整个车采集信息的准确性。由于识别时 OpenARTmini摄像头需要左右转向，因此在在须安装一个可以旋转的轴。为了节省空间，我们将总钻风摄像头和 OpenARTmini摄像头放在同一个碳素杆上，这样就不会出现某个摄像头会挡住另一个摄像头。

  电感部分我们采用了两个水平电感以及一个中间电感，以此检测环岛元素，并当摄像头左右转动之后可以采用电感循迹

  对于用于车模转向的舵机，一般有有立式和卧式两种安装方案（立式：转轴处于水平方向；卧式：转轴处于竖直方向）。
  舵机立式安装方式的优点：

  （1）转向响应速度快，转向角较为符合阿克曼转向原理，它由舵机臂竖直平面的运动转化为拉杆水平方向的运动，减少了在同一平面上运动的死区；

  （2）方便安装舵机臂，有利于调节赛车转向的中值。舵机立式安装方式的缺点：
  1. 不好安装固定；

  2. 安装后较高，占用竖直方向的空间，会挡到摄像头

  （3）重心较高。舵机卧式安装方式的优点：
  1. 转向响应速度较快；

  2. 高度较低；

  3. 重心低。舵机卧式安装方式的缺点：转向角部分符合阿克曼转向原理（转角小时），舵机臂和拉杆都在水平平面

  内运动，当舵机臂长度与转角臂长度相等时会导致内、外侧轮不符合阿克转角。对于用于车模转向的舵机，经过仿真分析后得出舵机立式安装方式较好，立式安装方式的转角较符合阿克曼转角，并且历届很多强队都是用立式安装。

  该舵机是为了满足摄像头能在水平方向旋转，因此只需要将碳素干的底部固定在舵机盘上，舵机背部固定在车模上。对于舵机的固定，我们用 3D打印底盘

  让舵机可以安装到车模上。

  编码器是用来对车速进行测算的仪器，目前很多学校使用的是通过光电编码的编码器，其精度较高、安装较为方便，但体积有点大。光电编码器的安装精度较高，要求编码器轴与赛车后轴同轴，且编码盘必须与赛车的中心线共线。我们是直接装在车上，利用齿轮与差速器上的大齿轮相咬合。这种安装方法方便快捷，更能较准确的测出电机的转速。

  总装风摄像头是一款基于 MT9V03X芯片设计的传感器模块，适合在高速情况下采集图像的全局快门摄像头。具有高动态性能、自动曝光、曝光时间随时可调等优点。集合内部 AD摄像头采集模块与视频信号处理模块，极大地简洁使用该摄像头硬件电路的设计。以下是总装风摄像头与 MCU接口设计。

  智能视觉模块包含两个部分，一部分是识别，另一部分是执行。识别部分采用的是 OpenART mini， OpenART mini是不仅可以很轻松的完成机器视觉（machine vision）应用，还可以完成 OpenMV不能完成的神经网络模型的部署和训练。 OpenARTmini是通过串口通讯的，我们直接采用无线串口模块来连接。执行部分包括控制摄像头转向和激光打靶。摄像头转向可以从 OpenARTmini引出一根控制舵机的信号线用于控制舵机转向，激光打靶可以利用三极管控制。

  电源模块为系统其他各个模块提供所需要的电源。设计中，除了需要考虑电压范围和电流容量等基本参数之外，还要在电源转换效率、降低噪声、防止干扰和电路简单等方面进行优化，其应保证传感器信息采集准确有效；电机驱动则需在保证正常工作的情况下尽量减少对其他电路的干扰。

  为使软件上参数调节方便，且兼顾硬件上的简洁与美观，我们特意设计这一模块，按键和拨码开关可以切换各种参数调试， TFT显示屏能更方便看清，无线串口模块可以利用蓝牙与电脑相连，能实时了解数据。

  本系统主要采用电磁进行环岛的处理，故只采用三电感的方案，并采用 OPA4340进行放大。

  软件编写的目的，是控制车模在既定规则前提下，以最快的速度，跑完整个赛道任务。无论硬件采用何种方案，软件的总体框架总是相似的，我们追求的就是稳定的基础上兼顾速度。针对 AI视觉组的赛道任务软件上分为基础循迹、 AI识别两个任务。基础循迹与普通单车模组的循迹方式大同小异，主要有：电磁循迹和摄像头循迹的方式。为了更好获取赛道信息，本团队采用摄像头作为主要循迹传感器，而电感作为辅助传感器的循迹方式。 AI视觉任务采用 openmvart搭载训练好的网络模型进行识别，通过串口通信的方式，将识别结果返回到主控芯片 RT1064上。

  通过 MT9V032摄像头传输回来的图像是 160*120大小的灰度图像，而处理图像的第一步就是如何处理灰度图像，主要有以下两种思路：
  1）二值化图像： AI视觉通过给定一个阈值，将每个像素点与之进行比较，从而确定出来这个像素点是黑或白，之后的图像处理就使用这个二值化后的数组进行处理。

  2）在实际调车中，本团队发现最大协方差阈值法能够有效的计算出一幅图像的最佳阈值，实现对于图像前景与背景的分离。这样使用动态阈值二值化之后的图像能够像普通二值化图像一样处理，但在黑白跳变不大的元素让需要借助灰度图像进行处理。

(1)中心扫线中心扫线是指每行图像的起始扫线都是从上一行图像的中线位置开始的，从白点向左向右扫到黑点及寻找到所需要的边界线，进而拟合出赛道中心线。优点：对于环境光线依赖比较小，如由于光线不均匀造成的反光仅仅会影响反光存在的几行，而不会对整幅图像之后的边界线提取造成干扰；

  缺点：比较消耗时序，需要遍历图像中大多数像素点才能够找到赛道的边界线，同时由于环岛等特殊元素的存在，使我们寻找的边界线与环岛的特征点有一定的差距，不利于元素的识别。

(2)边缘扫线边缘扫线是指每行图像的起始扫线根据左右边界线分别根据上一行左右边界线开始的，根据上一行的边界线在这行中同样位置的像素点黑白确定向左向右扫线，并找到黑白的切换点作为实际的赛道边界线。

  优点：能够较少的利用时序，同时克服赛道中间白色区域中产生的噪点，同时可以较好的寻找环岛等元素的特征点；缺点：若外界光线不均匀造成部分行的扫线错误，将一直影响之后整幅图像的扫线，同时不利于提取（斜入）十字等元素的特征。
(3)综合扫线

  本团队采用将中心扫线和边缘扫线相结合的方式获取赛道边线。对于摄像头近处的边线寻找采用中心扫线，远处的边线寻找采用边缘扫线，依据近处扫到的边线往赛道中心寻找。

  优点：能够减少巡线时间，对于环境光线依赖比较小，能够较少的利用时序，同时克服赛道中间白色区域中产生的噪点。缺点：由于环岛等特殊元素的存在，使我们寻找的边界线与环岛的特征点有一定的差距，不利于元素的识别。

(1)环岛元素
  针对本团队采取的边线提取算法在环岛处不能准确反映环岛元素的赛道信息，采用电感传感器辅助摄像头识别环岛：首先电感传感器发现环岛，再通过摄像头获取入环位置，进而斜率补线入环。

(2)十字元素
  对于十字元素路口出现的左右两边同时丢线的情况，本团队先计算左右两边丢线范围大小，当左边丢线范围大于右边时，先对右边采用斜率补线，再对左边采用斜率补线，最后计算得到的赛道中线，反之则反。先计算丢线范围小的边线进行补线可以减少循环次数，降低该部分代码的时间复杂度。

  AI视觉有 AprilTag码识别、数字识别、物种识别这三个任务，处理大体流程如图所示

  数字标靶牌位与三岔路的路口处，取 0-9的数字值作为首次进入三岔路的指示。当数字为奇数时，则首次进入三岔路时走右道，反之为偶数时，首次进入三岔路时走左道，第二次进入三岔则走与首次方向相反的道。标靶牌的位置如图所示。

  图 5.3.2其图片大小为 10x10cm，并处于深色方框内如图所示。

  由此可以利用 OpenMV官方库提供的 find_rect()函数来识别矩形框，提取出图像 ROI进行识别。识别模型采用 Letnet-5深度神经网络模型，并使用 Python语言利用 Keras进行模型搭建，其网络模型如图所示：

  数据集使用 OpenARTmini对实际图片进行采集，并对图片进行筛选、标号等一系列预处理操作，得到最终进行训练的数据集。设定 batch_size为 64，epochs为 100，直接使用电脑 CPU进行模型训练，在 15分钟左右便能得到训练结果，最终得到的模型验证集准确率为 99.94%。对生成的 .h5模型及参数文件使用 NNCU工具进行量化，其 GUI界面如图所示

  图 5.3.5将量化后生成的 nncu文件移至 OpenARTmini存储空间内，并使用 nncu.load()方法进行加载，便可将训练好的网络模型在 OpenARTmini上运行。

  物种标靶牌位于 AprilTag码前后 15cm处，由水果和动物两大类组成，其动物物种包含狗、猫、马、猪、牛五类；水果物种包含苹果、橘子、葡萄、香蕉、榴莲五类。当识别到为动物时需原地停留至少 3s钟；当识别到为水果时需使用激光进行打靶，并且激光落点须在以靶心为圆心的直径 5cm的圆形范围内。其标靶牌和数字牌一样大小为 10x10cm并有着深色方框，如图所示

  与数字识别模型一样，也采用 Letnet-5网络模型进行物种识别，其模型如图所示

  其数据集由爬虫爬取图片网站、开源 cifar100和 ImageNet数据集三大部分构成，并对图片进行筛选、分类等预处理操作得到用来训练模型的数据集，设置 batch_size为 128， epochs为 200，最终得到 10个物种样本的识别准确率为 76.85%，水果和动物的识别准确率为 99.91%。最后与数字识别模型一样把训练生成的 .h5模型文件使用 NNCU量化工具进行量化，把最终得到的 .nncu文件移至 OpenARTmini并加载运行进行物种识别。

  开发工具使用的 keil开发环境，如图 6.1所示。它能够为单片机提供与之配套的应用程序开发模块。在目标程序的下载方面，通过 JLINK与单片机之间的连接下载程序。使用串口调试工具或 PC的超级终端进行程序的调试。

  上位机在工业控制当中又被称为 HMI,就是一台计算机，它的作用是监控现场设备的运行状态，当现场设备出现问题在上位机上就能显示出各设备之间的状态（如正常、报警、故障等）。上位机的概念属于计算机集散控制系统的概念。在计算机集散控制系统中，计算机分为各个级别，与现场设备发生直接关系的计算机属于下位机，用来控制下位机，或给下位机下达新任务的计算机是下位机的 “上位机 ”。若集散控制系统较大，计算机的级别可能不止两级，此时上位机还可能有级别更高的上位机对其进行控制或指派任务。我们的上位机是完全自主开发的，图 6.2是上位机软件界面。

  因为摄像头车模所需处理的信息量非常大，在调试过程中往往需要存储这些信息以供研究分析，所以我们用外部 SD卡来存储海量信息，这让我们在图像处理上有很多的发挥空间。通过 SD卡，我们存下了我们需要的图像信息和处理之后的信息，然后通过串口发送给上位机，这样我们就可以方便地分析出图像上的各种问题，以便在程序上作出修改。

• 仿真模式：由于图像处理越来越复杂，对于图像仿真越来越重要， PC仿真模式可以将单片机代码导入，更加直观看到图像处理结果。
• 本地模式：小车的实际图像反馈对于调车非常重要，利用 SD卡将小车行进中的图像以及处理信息保存，上传到上位机，以便常看。
• 调试模式：为了提高调试效率，特别为上位机做了在线调试系统，信息一目了然

  当赛车快速行驶时，检测到预设的事件发生（如三叉路口等）时，蜂鸣器立即发出声音提示，在调试过程中非常实用。

  由于赛前我们有一定的调试时间，因此可以针对赛道的具体情况，通过按键或者拨码开关液晶显示对一些可变参数进行设定，这可以使得小车的适应能力更强。同时这在平常的调试中，也大大方便了我们对参数的重新设置。

  在智能车的制作和调试过程中，需要将小车检测到的路面信息以及速度等参数实时地发给 PC，以便对算法进行有针对性的分析。由于小车在行驶时不能通过有线的方式获得其运行参数，我们使用了无线模块。

  本文针对小车自动循迹方法，相对于非常传统而且进步空间并不是很大的电感循迹，摄像头循迹不限于特定场景，且摄像头图像处理手段也正在研究进步，可以利用固定阈值二值化来处理赛道图像，但是其适应性不强，对亮度变化要求苛刻。使用动态阈值二值化来处理图像可以避免亮度改变问题，但是若有局部光照，其灰度分布直方图呈多峰分布状态，动态阈值二值化方法效果也大大降低了，且其要对图像数据遍历两次，会增多运算时间。直接使用灰度值进行梯度计算也能提取边缘线，但是只取左右两边的梯度也不能很好的识别特殊元素，于是有了图像八邻域求各个方向的梯度，找出梯度方向一致的线来提取边线，还有 Hough算法提取边线等等。转向控制算法和速度闭环算法使用传统 PID控制算法便能达到不错的控制效果，对于图像的识别利用卷积神经网络也能更好地提取图像特征，提高训练模型的准确率。

  本文通过使用 NXP公司的 RT1064单片机控制小车自动循迹，使用 C语言编写小车自动循迹控制代码，利用 PID控制器对转向环和速度环进行控制，搭载在 OpenART训练好的神经网络模型对赛道指示牌进行识别，基本实现了 AI识别和自动循迹功能。主要贡献如下：

  ① 提出了一种用灰度跳变的差比和的算法，在自动循迹中使用灰度值直接进行计算提取赛道边线，大大减少了图像运算时间，增加了小车运动时图像处理的实时性，具有较好的准确性和实时性。

  ② 提出使用 PI算法对电机速度闭环进行控制，能够使电机迅速响应，在三岔路口处能迅速刹车，在坡道处可以保证车辆平稳爬坡。

  ③ 使用 LetNet-5神经网络模型减少了输入参数，也减少了网络尺寸，对于内存不多、算力不足的单片机来说是非常适用的，训练出来的模型数字识别准确率达 99.94%，物种识别准确率目前为 76.85%。

  ④ 利用 NNCU工具对模型再一步缩减转型，在精度变化不大的情况下大大提高了在单片机上模型的运载速度。

  在为本次大赛制作智能车期间，我们遇到过很多问题，从最初的传感器选型与方案确定，到后来的软硬件联合调试。在解决一个个问题之后，我们发现，我们技术上在不断成长，思想上不断成熟。而在这过程中，离不开学校，老师和同学的支持。首先，我们要感谢学校对这次比赛的重视。没有他们的支持，我们的车模绝对上不了赛场。其次，我们要感谢指导老师的悉心教导，没有他们在思想上的指导和整体的规划安排，我们很难有今天的成果。最后，我们要感谢同实验室的其他同学，感谢我们同时工作在这么和谐的实验室，感谢他们在赛道制作和其它方面的帮助。

[1]高贝贝 ,吴永志 ,崔金龙 ,等.基于双电机的电磁循迹智能车系统控制策略的设计 [J].科技与创新 ,2018(15):119-121.
[2]陈金伟 ,陈明福 .基于图像处理的智能小车的研究与实现 [J].信息记录材料 ,2020,21(11):196-197.
[3]曹聪聪 .基于卷积神经网络的智能车前方车辆检测系统研究 [D].合肥工业大学 ,2019.
[4]黄志强 ,李军 .基于卷积神经网络的图像识别研究综述 [J].汽车工程师 ,2020(10):11-13+31.
[5]叶金鑫 .基于模糊 PID的智能小车控制算法研究 [J].实验科学与技术 ,2016,14(01):46-47+62.
[6]冯震 .基于模糊神经网络的智能车的控制 [D].内蒙古大学 ,2018.
[7]宋宗泽 .基于深度学习的智能车自主导航系统研究 [D].兰州理工大学 ,2019.
[8]尤扬 .基于模糊控制的新型循迹智能小车设计 [D].沈阳工业大学 ,2015.
[9]孙雪丽 ,张亚周 ,金堃 .OpenMV视觉模块的滚球目标识别与追踪系统研究 [J].单片机与嵌入式系统应用 ,2021,21(02):8-10.
[10]陈金伟 ,陈明福 .基于图像处理的智能小车的研究与实现 [J].信息记录材料,2020,21(11):196-197.
[11]徐成波 .基于嵌入式的视觉智能车的研究 [D].北方工业大学 ,2015.
[12]陈二阳 ,张修军 ,袁姜红 .基于图像识别的自主驾驶智能小车的设计与实现 [J].现代电子技术,2018,41(18):162-165+169.
[13]赵长宣 .基于深度学习的道路交通标志识别系统研究 [D].西安科技大学 ,2020.
[14]张丽 ,徐海钦 ,王子文 ,等.智能车车速最优控制策略与算法研究 [J].河南理工大学学报 (自然科学版 ),2020,39(05):94-100.
[15]黄志强 ,李军 .基于卷积神经网络的图像识别研究综述 [J].汽车工程师 ,2020(10):11-13+31

● 相关图表链接:

• 图 2.1系统框图
• 图 2.2整车布局
• 图 3.2摄像头位置
• 图 3.3电感位置
• 图 3.4舵机安装位置
• 图 3.5编码器安装
• 图 4.2总装风摄像头使用电路
• 图 4.3 OpenART mini摄像头接口
• 图 4.3激光发射控制电路
• 图 4.4 5V电源
• 图 4.4 3.3V电源
• 图 4.4 3.3V摄像头电源
• 图 4.4舵机电源
• 图 4.4 12V电源
• 图4.6 按键与拨码开关
• 图4.6 按键与拨码开关
• 图4.6 按键与拨码开关
• 图 4.6蜂鸣器控制电路
• 图 4.7主板 pcb
• 图 4.8电感信号运算放大电路
• 图 5.3
• 图 5.3.1