计算机视觉方向简介 | 驾驶员监控DMS

作者黄浴(奇点汽车美研中心首席科学家兼总裁)

来源丨https://zhuanlan.zhihu.com/p/68127887

新机器视觉编辑

驾驶员监控系统（driver monitoring system，DMS）一般是对L2-L对于3级自动驾驶系统，L除非系统仍然需要安全员的测试需要安全员的测试。

监控的目的发现司机走神了（distraction）、疲劳（fatigue）或者打瞌睡（drowsiness），甚至会发生无法驾驶的事故，比如欺骗辅助驾驶系统，用矿泉水代替方向盘上的手，或者和乘客吵架。此外，如果作为自动驾驶的研发阶段，监控驾驶员可以提供驾驶行为的第一手数据，甚至用于模拟系统。

非侵入式（non-intrusive）方法是监控的首选方法，基于视觉的系统更具吸引力。主要的视觉线索包括面部特征、手部特征或身体特征。许多检测系统只使用单个视觉线索，其鲁棒性差，如屏蔽或光变化，容易受到干扰。因此，结合各种视觉线索是关键和具有挑战性的。

驾驶员面部监控系统是基于驾驶员面部图像处理来研究驾驶员身心状况的实时系统。驾驶员的状态可以通过闭合眼睑、眨眼、盯着方向、打哈欠和头部运动来检测。它基本上分为两类：

①. 仅从眼部区域检测司机；

②. 它不仅可以从眼睛中检测，还可以从脸部和头部的其他部位检测。

下图是驾驶员面部监控系统的框图：检测人脸、眼睛等面部特征，跟踪变化，提取症状，实现疲劳和分心检测。驾驶员面部监控系统的主要挑战是：

①如何测量疲劳？ 疲劳与体温、皮肤电阻、眼球运动、呼吸频率、心率与大脑活动有关；第一个也是最重要的疲劳迹象会出现在眼睛里。

②如何测量注意力？第二个挑战是测量驾驶员对道路的注意力；从驾驶员头部和注视方向（gaze direction）估计司机的注意力。

人脸检测方法可参照一般目标检测的方法，现在深度学习也已经在这个领域展示“肌肉”。人脸检测是一个老问题，人脸检测挑战的情况有以下一些：

• 面内旋转;

• 面外旋转;

• 化妆品、胡须和眼镜的存在；

• 表情(快乐、哭泣等)；

• 照明条件;

• 脸部遮挡;

• 实时处理要求。

由于最重要的心理活动与眼睛活动有关，眼部区域总是用于提取驾驶员的症状。

两类眼部检测：

• 1) 基于红外光谱成像的方法；

• 2) 基于视觉的方法；

除了眼睛，还可以检测其他面部成分：嘴巴，鼻子和脸部突出（Salient）点。

面部跟踪是分析驾驶员心理活动的主要手段。这种跟踪任务和一般单目标的跟踪是相似的，主要挑战包括：

• 一些信息从三维空间映射到二维空间丢失；

• 形状或运动复杂；

• 部分遮挡;

• 环境光变化；

• 实时跟踪要求。

与疲劳、分心和打瞌睡有关的症状包括:

• 与眼部区域有关的症状：闭眼、眼睑距离、眨眼速度快、凝视方向和跳跃运动；

• 与口腔区域相关的症状:开/闭；

• 与头部相关的症状：点头、头部姿势和头部固定；

• 与面部相关的症状：主要是表情。

以下是几个例子：

如图所示，基于深度神经网络（DNN）驾驶员监控系统。

基于面部、眼睛和嘴巴的检测网络结构如下：

基于单目(左眼)区域加嘴区域的检测网络结构如下:

如图所示，基于深度学习模型的人脸表情识别系统：输入图像检测面部和特征，从面部成分中提取时空特征，使用预训练分类器（图像取自CK 数据集（d））确定表情。

整个深度学习模型是CNN和LSTM组合如下图所示：

下图是一个身体姿势（posture）识别司机分心症状的系统。症状包括：饮酒、调整收音机、正确驾驶姿势、摆弄头发或化妆品、面对背部、与乘客交谈、左手、右手、左手短信， 用右手发短信。

系统的算法框图如图所示：包括面部检测器、手部检测器和皮肤区域分割。训练每个输出图像（即皮肤、面部、手）AlexNet和InceptionV3网络（5个AlexNet和5个InceptionV3)最终识别为加权组合输出。

本文仅进行学术分享。如有侵权行为，请联系删除。

3D视觉车间精品课程官网：3dcver.com

1.自动驾驶领域的多传感器数据集成技术

2.自动驾驶领域3D点云目标检测全栈学习路线！(单模态 多模态/数据 代码)
3.彻底了解视觉三维重建：原理分析、代码解释、优化和改进
4.中国第一门面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码解释
6.彻底理解视觉-惯性-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底了解基础LOAM框架的3D激光SLAM: 从源代码分析到算法优化
8.室内外激光彻底分析SLAM关键算法原理、代码和实战(cartographer LOAM LIO-SAM)

9.从零开始建造一套结构光3D重建系统[理论 源码 实践]

10.单目深度估计方法:算法梳理和代码实现

11.在自动驾驶中部署深度学习模型

12.相机模型及标定(单目) 双目 鱼眼）

13.重磅！四旋翼飞机：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源代码和实战

16.基于Open3D点云处理入门及实战教程

重磅！3DCVer-提交学术论文写作交流群已成立

扫码添加小助手微信，可申请加入3D视觉研讨会-学术论文写作和提交微信交流群旨在交流顶会、顶刊、SCI、EI等待写作和提交。

同时也可以申请加入我们的细分交流群。目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶，多传感器集成，CV入门，三维测量，VR/AR、3D人脸识别、医学影像、缺陷检测、行人重识别、目标跟踪、视觉产品着陆、视觉竞赛、车牌识别、硬件选择、学术交流、求职交流、ORB-SLAM系列源码交流，深度估计等微信群。

注：研究方向 学校/公司 昵称，例如：”3D视觉 上海交大 安静。请按格式备注，可快速通过并邀请进入群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注微信官方账号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程(三维重建系列，三维点云系列，结构光系列，手眼标定，相机标定，激光/视觉SLAM、自动驾驶等）、识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~