【自动驾驶】基于面部Fatigue检测的技术报告

时间：2022-12-26 07:30:00 微调电位器的单位单数字控制电位器single

自动驾驶基于面部Fatigue检测技术报告

文章目录

自动驾驶基于面部Fatigue检测技术报告
- 疲劳驾驶检测研究的主要方向是什么？
- 基于面部疲劳检测研究的发展现状
- - - 共收集43篇论文
    - 根据年份、科研单位和期刊水平进行分析
    - 根据年份和使用的模型进行分析
    - 根据年份和数据集进行分析
    - 根据年份和问题进行分析
    - 计算机视觉研究热点趋势分析
    - 我觉得比较水的疲劳检测论文无非就是这几点
- 疲劳检测解决方案研究(科学研究)
- - - 近三年疲劳检测的发展现状
    - 基于面部疲劳检测的研究，可以上升到哲学问题
    - 我们不禁停下来想，什么是疲劳？
    - 什么是科学有意义的疲劳检测研究？？(浅谈)
- 综上所述

疲劳驾驶检测研究的主要方向是什么？

信号特征

疲劳检测主要通过以下信号进行

心电信号：

ECG心电图， PPG光容积描述

脑电信号：

根据不同的频段分为五种波段

$\gamma$ 波（30~42Hz）

$\beta$ 波（13~30Hz）

$\alpha$ 波（8~13Hz）

$\theta$ 波（4~8Hz）

$\delta$ 波（0.5~4Hz）

肌电信号：

表面肌电信号（sEMG）

眼电信号：

测量角膜(带正电)和视网膜(带负电)之间的电位差（EoG）

车辆特征

方向盘转角、车辆行驶速度、车辆加速度、行驶轨迹、车道偏移、驾驶员身体各部位座椅压力、制动踏板压力等

面部特征
眼睛
- 眼睛纵横比（EAR），闭眼时间百分比（PERCLOS）
嘴巴
- 嘴巴纵横比（BAR），张开嘴的频率（FOM）
表情
- 基本表情:愤怒、厌恶、恐惧、快乐、悲伤、惊喜和中立
- 人脸表情动作单元：通过面部动作编码系统FACS，它被分成几个相互独立和相互联系的动作单元AU1，AU2，…，AU28。
鼻子
- 呼吸频率：利用热成像相机收集鼻子周围的温度，检测呼吸频率
头部姿态
- 打瞌睡，摇头等等
手势
- 不安全行为:吸烟，打电话
- 其他行为（待研究）：托腮，挠头，捂嘴，捏鼻子
面部纹理
- 一些研究人员直接提取检测到的人脸的纹理特征，并使用模型识别疲劳

基于面部疲劳检测研究的发展现状

共收集43篇论文

国外论文（2003 ~ 2021，共31篇）
- 2016_Human fatigue expression recognition through image-based dynamic multi-information and bimodal deep learning
  
  刊物：SPIE，引用量 12，中国山东大学
  
  研究点：疲劳表情识别
  研究内容：
  - 使用堆叠的自编码器，对双模态特征（68个关键点，眼睛纹理特征）进行疲劳分类。
- 2018_IOT based Real-time Drowsy Driving Detection System for the Prevention of Road Accidents
  
  刊物：IEEE，引用量 22，泰国
  
  研究点：使用树莓派3，利用EAR进行疲劳检测
  
  研究内容：使用树莓派3，利用EAR进行疲劳检测
- 2019_A Realistic Dataset and Baseline Temporal Model for Early Drowsiness Detection
  
  刊物：IEEE CVF，引用量 48，美国德州大学
  
  研究点：基于眨眼的疲劳检测
  研究内容：
  - 使用dlib提取人眼关键点，计算EAR值，并从多个帧中提取每一个blink，每个blink包含duration，amplitude，eye opening velocity，frequency 4维的特征。
  - 定义一个时间窗口，将blink特征喂给HM-LSTM网络，学习blink在时间维上的特征。
  - 利用全连接层，回归单元，离散化取值，将KSS值映射到3种fatigue状态上。
- 2019_Real Time Driver Fatigue Detection System Based on Multi-Task ConNN
  
  刊物：IEEE Access，引用量 15，土耳其
  
  研究点：通过PERCLOS，眨眼频率和哈欠频率（FOM）来检测驾驶员的疲劳状态。
  
  研究内容：先使用dlib提取面部区域和关键点，接着使用Multi-Task CNN对yawn，eye特征进行学习；接着在使用分类器计算PERCLOS，FOM。
- 2020_Driver Fatigue Detection Method Based on Eye States With Pupil and Iris Segmentation
  
  刊物：IEEE Access，引用量（0），中国浙江师范大学
  
  研究点：提出了SESDM网络检测模型使用U-net提取瞳孔和虹膜特征。
  研究内容：
  - 使用SESDM网络（共两个），第一个网络是对原始的眼睛进行语义分割，提取瞳孔和虹膜特征，第二个网络对前面提取的特征进行eyes openness的判断。
  - SESDM网络检测出是否眨眼后，计算PERCLOS
- 2020_A fatigue driving detection algorithm based on facial multi-feature fusion
  
  刊物：IEEE Access，引用量 10，中国深圳信息职业技术学院南方科技大学
  
  研究点：通过检测闭眼时长、眨眼频率和哈欠频率，来识别驾驶员疲劳状态。
  研究内容：
  - yolov3-tiny检测人脸
  - 使用Dlib工具包提取eye，mouth特征向量
  - 使用SVM分类器，利用闭眼时间，眨眼频率和哈欠频率来evaluate fatigue state。
  - 识别模块主要包括：身份识别，身份验证，利用眼睛，嘴巴分类器，计算PERCLOS，眨眼频率，哈欠频率，进行在线疲劳检测。
- 2020_Driver Fatigue Detection System Based on Colored and Infrared Eye Features Fusion
  
  刊物：researchGate，引用量 2，中国首都师范大学北方工业大学
  
  研究点：通过融合彩色和红外照片，计算PERCLOS、眨眼频率和眨眼持续时间。
  研究内容：
  - 从colored，infrared images中分别提取特征，并进行加权融合
  - 使用dlib提取人脸关键点，并计算相应的融合特征
  - 使用SVM学习这些融合特征中的疲劳信息。
- 2020_Long Short-term Memory Network Based Fatigue Detection with Sequential Mouth Feature
  
  刊物：IEEE，引用量1，中国华南理工大学
  
  研究点：使用Resnet和LSTM进行哈欠检测
  研究内容：
  - 使用梯度直方图（HOG）特征和SVM进行人脸检测
  - 使用级联回归树检测嘴巴区域
  - 使用Resnet和LSTM进行嘴巴区域的空间-时间特征的提取，进行哈欠动作的识别（YawDD数据集检测准确度为94.9%）
- 2021_IoT-Based Smart Alert System for Drowsy Driver Detection（扯淡）
  
  刊物：Hindawi，引用量 6，印度
  
  研究点：使用EAR进行疲劳检测，使用其他传感器进行碰撞检测
  研究内容：
  - 使用树莓派实现基于EAR的疲劳检测
  - 通过车辆传感器采集的冲撞信号进行车辆的碰撞检测
- 2021_Driver Mental Fatigue Detection Based on Head Posture Using New Modified reLU-BiLSTM Deep Neural Network
  
  刊物：IEEE Tran，引用量 0，澳大利亚伍伦贡大学
  
  研究点：利用头部角度加速器数据对注意力，随机运动，打哈欠，点头和头部摇晃进行检测。
  研究内容：
  - 使用Xsens动作捕捉软件检测头部姿势
  - 使用reLU-BiLSTM训练头部角度加速器数据，进行疲劳状态识别
- 2021 Eye Fatigue Prediction System Using Blink Detection Based on Eye Image
  
  刊物：IEEE，引用量 0，日本九州工业大学
  
  研究点：修改了EAR的计算公式，进行疲劳检测
  研究内容：
  - 使用修改了的EAR进行疲劳检测
- 2021_Drivers Fatigue Detection Using EfficientDet In Advanced Driver Assistance Systems
  
  刊物：IEEE，引用量3，突尼斯
  
  研究点：使用efficientDet模型检测眼睛和嘴巴状态，并通过PERCLOS和FOM特征进行疲劳判断
  研究内容：
  - 使用efficientDet D0进行人脸关键点检测
  - 使用PERCLOS和FOM指标进行驾驶员疲劳检测
  - 使用NTHU-DDD数据集，利用PERCLOS和FOM特征进行efficientDet模型的微调，检测准确度达到96.05%
- 2021_Development of nose detection and an infrared image matching system for mental fatigue evaluation
  
  刊物：IEEE，引用量0，日本东京理科大学
  
  研究点：使用热感应摄像机和KAZE算法，利用鼻子呼吸时环境的温度变化估计呼吸行为，使用彩色/红外线图片进行鼻子检测。
  研究内容：
  - 利用KAZE算法提取鼻子特征，通过鼻子周围的温度变化分析一个人的压力水平
国内论文（2018 ~ 2021，共12篇）
- 2018_基于模糊综合评价的疲劳驾驶检测算法研究
  
  刊物：软件学报，CCF A，引用量28，杭州师范大学，浙江大学
  
  研究点：眼睛睁闭合检测
  
  针对的问题：
  
  综上所述, 现有的基于计算机视觉的疲劳检测机制中通常都是在对人眼精确定位后利用眼睛单一特征进行分析,判定出人眼状态.该类算法易受外界环境干扰, 如光线、眼镜等因素,误判率高,具有一定的局限性。
  
  评价：后来研究者们没有使用这个方法（即使被引用了28次），仍然喜欢使用关键点检测进行眨眼研究，从他的实验结果也能看出数据量明显不够，他提出的算法并不能解决所提问题。
  研究内容：
  - 将传来的连续帧图像(视频)利用 Adaboost 算法进行人脸检测，根据人脸“三庭五眼”的分布特征分割出大致的人眼区域。
  - 在人眼定位过程中,采用 OSTU 阈值分割,非线性点运算和积分投影等预处理消除眉毛。
  - 利用模糊综合评价算法对眼睛矩形区域的长宽比、拟合椭圆面积、瞳孔黑色素所占比例这 3 个影响因子进行分析,判别出眼睛的睁开闭合状态。
  - 最后根据 PERCLOS 原理对驾驶员的疲劳状态做出检测。
- 2019_基于改进ASM的多特征融合疲劳检测方法
  
  刊物：计算机工程与设计，CCF C，引用量4，南京工业大学
  
  研究点：利用眨眼频率，嘴巴张合度特征，使用模糊推理机进行疲劳估计
  
  针对的问题：
  
  为了解决驾驶员在行驶过程中头部发生多角度变化导致难以定位面部特征的问题，应用改进的ASM算法精确定位眼睛和嘴部区域。
  
  评价：
  
  改进的ASM人脸定位算法是1998年提出的，2019年用在疲劳检测上能解决这个问题吗，肯定是不行的。
  研究内容：
  - 使用改进的ASM算法精确定位眼睛和嘴部区域，计算眼睛的长宽比值、嘴部高度值和嘴部附近的黑白像素比值，得出眨眼频率和嘴巴张开程度。
  评价：
  - 嘴部纵横比（MAR）不香吗，偏要改成嘴部高度值和嘴部附近的黑白像素比值，改了也不和之前的MAR进行比较，选择性地视而不见。
  - 数据集用的还是自己的，公开的数据集也不主动验证一下
- 2019_基于人眼信息特征的人体疲劳检测
  
  刊物：计算机应用，CCF C，引用量11，重庆邮电大学
  
  研究点：
  
  针对的问题：
  
  头部姿势变化、光线等因素对人眼定位造成很大影响，从而影响人眼状态识别以及疲劳检测的准确性。为此提出了一种利用级联卷积神经网络通过检测人眼6个特征点来识别人眼状态进而识别人体疲劳的方法。
  
  评价：
  
  不用好的68个人脸关键点检测模型，而是通过自己设计的网络和公开的数据集，重新训练人眼定位模型（6个关键点），训练好的模型在实验结果中可以发现眼睛定位检测效果一般。
  研究内容：
  - 一级网络采用灰度积分投影结合区域一卷积神经网实现人眼的检测与定位；
  - 二级网络将人眼图片进行分割后采用并联子卷积系统进行人眼特征点回归；
  - 最后，利用人眼特征点计算人眼闭度识别当前人眼状态，并根据单位时间闭眼百分比（PERCLOS) 准则判断人体疲劳状态。
- 2020_基于人脸检测和模糊综合评判的在线教育专注度研究
  
  刊物：计算机科学，CCF B，引用量8，华南师范大学
  
  研究点：基于头部姿态，面部表情，眼睛嘴巴状态的疲劳估计
  
  针对的问题：
  
  针对在线教育中对学生的监督手段较为匮乏的问题，提出了基于头部姿态，面部表情，眼睛状态和嘴巴状态的模糊推理模型进行疲劳量化评分。
  
  评价：
  
  针对的问题就不是一个科学的问题，而且疲劳量化评分规则有点复杂。
  研究内容：
  - 本文提出了一种基于头部姿态、面部表情、眼睛状态和嘴巴状态４个因子检测，使用模糊综合评判，把学习者的学习专注度量化表示为0~100之间的分数的算法。
  - 使用dlib进行人脸关键点检测，使用FER2013数据集对CNN模型进行训练。
  - 在模糊综合评判中，设定检测周期，根据周期内的每一次检测结果计算
    头部偏转角均值，评估头部姿态评分，并使用模糊综合评判计算情绪综合评分，使用 perclos 疲劳度检测算法计算疲劳度
  - 最后采用模糊综合评判，把头部姿态评分、情绪评分和疲劳度组成模糊集，使用层次分析法来确定各个因素权重，量化评判具有模糊性的评判目标（学习专注度）。
- 2020_基于级联宽度学习的疲劳驾驶检测
  
  刊物：计算机工程与设计，CCF C，引用量6，中国矿业大学
  
  针对的问题：为减少因疲劳驾驶引发的交通事故
  
  研究点：使用PCN进行人脸检测，使用自定义的CNN进行关键点定位，使用BLS系统对眼睛、嘴巴和头部姿态特征序列进行疲劳状态分析。
  研究内容：
  - 提出融合多参数的驾驶员疲劳检测算法。用渐进校准网络（PCN) 检测人脸图像，得到人脸框和人脸角度值
  - 通过基于CNN的回归模型定位人脸关键点；
  - 根据关键点坐标和面部器官的分布规律提取眼睛和嘴部图像，用宽度学习系统（BLS) 分别识别眼睛与嘴巴的状态；将眼睛、嘴巴和头部状态的时序序列送入二级宽度网络对司机的状态进行判别。
- 2020_基于卷积专家神经网络的疲劳驾驶检测
  
  刊物：计算机工程与设计，CCF C，引用量2，五邑大学
  
  针对的问题：针对疲劳驾驶引发众多交通事故的问题
  
  研究点：使用改进的KCF算法进行人脸目标跟踪，使用CE-CLM模型进行人脸关键点检测。
  研究内容：
  - 为每个人脸建立小幅度的图像金字塔，使用KCF算法实现多尺度的人脸目标跟踪。
  - 使用CE-CLM模型进行人脸关键点检测
  - 使用角度检测法替代EAR算法进行眼睛闭合检测
  YawDD哈欠检测准确率仅有91.67%
- 2020_多特征融合的随机森林疲劳驾驶识别算法
  
  刊物：计算机工程与应用，CCF C，引用量6，南京理工大学
  
  针对的问题：复杂的交通环境，个人和社会因素制约了疲劳驾驶识别技术的应用效果，为了解决这个问题，提出了融合眼部特征和车辆特征的疲劳检测模型。
  
  研究点：提出了融合眼部特征和车辆特征的疲劳检测模型。
  研究内容：
  - 使用dlib计算EAR, MAR
  - 使用线性拟合趋势提取法得到车辆操纵活跃度特征
  - 采用随机森林对疲劳特征进行识别
- 2020_基于眼动特征的驾驶员疲劳预警系统设计
  
  刊物：软件导刊，CCF 普刊，引用量5，江西科技学院
  
  针对的问题：疲劳驾驶是导致交通事故的重要原因之一
  
  研究点：PERCLOS闭眼检测
  
  研究内容：系统通过手机摄像头实时采集驾驶员面部数据，通过人脸人眼定位后，计算出per-clos和眨眼时间均值。将数据输入疲劳检测模块，一旦检测到驾驶疲劳，系统即进行文字和语音提醒。
- 2021_基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测
  
  刊物：中国图象图形学报，CCF B，引用量1，浙江工业大学
  
  针对的问题：疲劳驾驶是引发车辆交通事故的主要原因之一，针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题。
  
  研究点：使用SSD模型检测人脸区域，通过人脸关键点算法提取眼睛局部区域图像，使用自商图与梯度图共生矩阵模型判别人眼开闭状态，使用PERCLOS特征，MCD判别疲劳。
  研究内容：
  - 利用以残差网络( residual network，ResNet) 为前置网络的 SSD( single shot multibox detector) 人脸检测器来获取视频中的有效人脸区域，并通过人脸关键点检测算法分割出眼睛局部区域图像。
  - 建立驾驶员眼部的自商图与梯度图共生矩阵模型，分析共生矩阵的数字统计特征，选取效果较好的特征用以判定人眼的开闭状态。
  - 使用Perclos，最长闭眼持续时间（MCD）判别驾驶员的疲劳状态。
- 2020_伪3D卷积神经网络与注意力机制结合的疲劳驾驶检测
  
  刊物：中国图象图形学报，CCF B，引用量4，南京理工大学
  
  针对的问题：复杂环境下的疲劳驾驶检测是一个具有挑战性的技术问题。为了充分利用驾驶员面部特征信息与时间特征，提出一种基于伪 3D( Pseudo-3D，P3D) 卷积神经网络( convolutional neural network，CNN) 与注意力机制的
  驾驶疲劳检测方法。
  
  研究点：利用伪3D( Pseudo-3D，P3D) 卷积神经网络(convolutional neural network，CNN) 与注意力机制的进行驾驶疲劳估计。
  研究内容：
  - P3D 结构( Qiu 等，2017) 利用 1 × 3 × 3 卷积核和 3 × 1 × 1 卷积核在空间域和时间域上模拟 3 × 3 × 3 卷积，在时间和空间上将 3 × 3 × 3 卷积进行解耦。（伪3D，即两个卷积分别进行空间和时间域上的卷积实现特征的提取）
  - 提出了疲劳驾驶检测模型P3D-Attention，其以 P3D 模块将空间与时间卷积解耦为基础，分别与适应的空间注意力模块和双通道注意力模块融合，充分融合时空特征，提高重要通道特征的相关度，增加特征图的全局相关性，以提高对疲劳驾驶行为的预测性能。
  YawDD数据集上的检测结果：
- 2020_融合人眼特征与深度学习的疲劳驾驶检测模型
  
  刊物：计算机工程，CCF C，引用量0，长安大学
  
  针对的问题：针对现有疲劳驾驶检测技术不能有效平衡准确性和实时性的问题，通过融合人眼特征与深度学习，构建一种新的疲劳驾驶检测模型。
  
  评价：
  
  直接将眼睛图片经过VGG模型处理成KSS值，然后通过定量分析（对KSS值进行统计），估计驾驶员的疲劳级别。这个过程中把最重要的perclos特征给忽视掉了，结果再好我是不信的。
  研究点：
  - 使用带有Ghost模块的VGG16的GP-VGG16模型进行眼部状态识别（Ghost模块参考 Ghost module，降低卷积的通道数，利用cheap operations 线性变换算子生成冗余的特征图）
  研究内容：
  - 设计 GP-VGG16 网络进行眼部状态识别，通过将人工先验信息集成到轻量级深度网络中，提高眼部状态识别的准确性、稳定性和实时性。
  - 在此基础上，利用眼部特征-疲劳等级模型将疲劳状态划分为 9 个等级，定量估计驾驶员状态。（在VGG16模型的基础上引入Ghost模块，然后使用积分投影特征与Ghost模块的输出特征进行concat，然后预测出kss值）
- 2021_基于边缘计算的疲劳驾驶检测方法
  
  刊物：计算机工程，CCF C，引用量0，武汉理工大学
  
  针对的问题：现有疲劳驾驶检测方法通常将驾驶过程中采集的数据传输至云端进行分析，然而在车辆移动过程中网络覆盖范围、响应速度等因素会造成检测实时性差。为在车载嵌入式设备上对驾驶人疲劳状态进行准确预警，提出一种基于边缘计算的疲劳驾驶检测方法。
  
  研究点：通过改进的多任务卷积神经网络确定人脸区域，根据人脸的面部比例关系定位驾驶人的眼部与嘴部区域，利用基于 Ghost 模块的轻量化 AlexNet 分类检测眼部与嘴部的开闭状态，并结合PERCLOS 和 PMOT 指标值实现疲劳检测。
  研究内容：
  - 使用基于改进的 MTCNN 进行关键点定位（5个关键点）
  - 使用带Ghost模块的AlexNet对提取的眼部ROI区域，嘴巴ROI区域分别进行闭眼睁眼，闭嘴打哈欠状态的识别。

按年份和科研单位及刊物级别进行分析

主要分析以下几点：

科研单位的变化：
- 在2014年之前，主力军主要是中国的985，211院校，以及韩国和欧美国家；
- 2014年后，主力军发展到了小国家，以及国内的普通院校。
期刊质量的变化：
- 2014年之前，疲劳检测相关论文主要刊登在IEEE和Elsevier上。
- 2014年之后，疲劳检测相关论文的期刊质量开始缩水，IEEE的论文质量大不如前。

按年份和使用的模型进行分析

可以发现：

在2014年之前，疲劳检测的创新点主要集中在图像处理方面，通过各种特征提取方法来进行眨眼，哈欠，表情的识别。
在2014年之后，深度学习模型实现了高精度的人脸定位之后，疲劳检测迎来一个小高峰，但公开的疲劳检测数据集很快就刷爆了，在研究思路上遇到了瓶颈。

按年份和数据集进行分析

2014 YawDD哈欠检测数据集

YawDD( a yawning detection dataset) ( Abtahi 等，2014) 数据集包含两组具有不同面部特征的驾驶员视频数据，主要用于检测算法模型，也可用于人脸和嘴巴的识别和跟踪，视频是在真实和变化的照明条件下拍摄的。在第 1 个数据集中，摄像头安装在汽车前视镜下方，每个参与者有 34 个视频，每个视频包含不同的口腔状况，如正常、说话/唱歌和打哈欠。该数据集提供了 322 个视频，包括来自不同种族的男女司机、戴或不戴近视镜/太阳镜，以及在3 种不同情况下的表现( 1 表示正常驾驶( 不说话)） ;
2 表示开车时说话或唱歌; 3 表示开车时打哈欠) 。
2016 NTHU-DDD多种疲劳行为检测数据集

2016 年公开的 NTHU-DDD 是新竹大学采集的关于驾驶员嗜睡场景的视频数据集，主要用来研究在不同场景下不同动作组合所反映的嗜睡程度。整个数据集包含 36 名来自不同种族，戴墨镜和不戴墨镜的参与者，在白天和夜间，在各种模拟驾驶场景下，记录驾驶员的打哈欠、慢眨眼、打瞌睡、大笑等面部行为。该数据集通过不同的动作组合，将场景划分为嗜睡场景和非嗜睡场景，嗜睡的相关动作组合包括打哈欠、点头、慢眨眼；非嗜睡的动作组合包括说话、大笑、视线关注左右两边。整个数据集共 90 个驾驶视频，总时长约为 9 个半小时。
2016 Drozy多模态PVT测试数据集

2016 年公开的 Drozy 数据集取自 14 名年轻的健康参与者，每个参与者需要在 3 个不同时间段（起床后 3h，起床后 21h，起床后 29h）分别进行长达 10min 的精神运动警觉测试（PVTS），对每个参与者采集如下数据：KSS 疲劳状态评分，PVT 任务中的刺激时间和响应时间数据，由脑电信号（EEG）、眼电信号（EOG）、心电信号（ECG）、肌电信号（EMG）共同组成的多导睡眠（PSG）信号，深度摄像头采集的红外视频，以及人工和自动标注的人脸关键点。该数据集可用于多模态的疲劳状态的研究。
2019 UTA-RLDD多受试者彩色真实疲劳数据集

UTA-ＲLDD ( University of Texas at Arlington real-life drowsiness dataset) ( Ghoddoosian 等，2019) 是包含 60 名受试者的大型公共真实数据集，指示受试者通过手机/网络摄像头以 3 种不同的睡意状态拍摄自己的 3 个视频，每个视频大约 10 min。这个数据集由大约 30 h 的视频组成，内容从轻微的睡意到更明显的睡意。视频片段标记为警戒( alert) 、低警惕( low vigilant) 或昏昏欲睡( drowsy) 。

按年份和针对的问题来分析

通过对国内期刊的分析（2018~2021），他们针对的问题主要如下：

论文题目	期刊名称	期刊级别	针对的问题
2018_基于模糊综合评价的疲劳驾驶检测算法研究	软件学报，引用量28，杭州师范大学，浙江大学	CCF A	现有的基于计算机视觉的疲劳检测机制中通常都是在对人眼精确定位后利用眼睛单一特征进行分析,判定出人眼状态。该类算法易受外界环境干扰, 如光线、眼镜等因素,误判率高,具有一定的局限性
2019_基于改进ASM的多特征融合疲劳检测方法	计算机工程与设计，引用量4，南京工业大学	CCF C	为了解决驾驶员在行驶过程中头部发生多角度变化导致难以定位面部特征的问题，应用改进的ASM算法精确定位眼睛和嘴部区域。
2019_基于人眼信息特征的人体疲劳检测	计算机应用，引用量11，重庆邮电大学	CCF C	头部姿势变化、光线等因素对人眼定位造成很大影响，从而影响人眼状态识别以及疲劳检测的准确性。
2020_基于人脸检测和模糊综合评判的在线教育专注度研究	计算机科学，引用量8，华南师范大学	CCF B	针对在线教育中对学生的监督手段较为匮乏的问题，提出了基于头部姿态，面部表情，眼睛状态和嘴巴状态的模糊推理模型进行疲劳量化评分。
2020_基于级联宽度学习的疲劳驾驶检测	计算机工程与设计，引用量6，中国矿业大学	CCF C	为减少因疲劳驾驶引发的交通事故
2020_基于卷积专家神经网络的疲劳驾驶检测	计算机工程与设计，引用量2，五邑大学	CCF C	针对疲劳驾驶引发众多交通事故的问题
2020_多特征融合的随机森林疲劳驾驶识别算法	计算机工程与应用，引用量6，南京理工大学	CCF C	复杂的交通环境，个人和社会因素制约了疲劳驾驶识别技术的应用效果，为了解决这个问题，提出了融合眼部特征和车辆特征的疲劳检测模型。
2021_基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测	中国图象图形学报，引用量1，浙江工业大学	CCF B	疲劳驾驶是引发车辆交通事故的主要原因之一，针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题。
2020_伪3D卷积神经网络与注意力机制结合的疲劳驾驶检测	中国图象图形学报，引用量4，南京理工大学	CCF B	复杂环境下的疲劳驾驶检测是一个具有挑战性的技术问题。为了充分利用驾驶员面部特征信息与时间特征，提出一种基于伪 3D( Pseudo-3D，P3D) 卷积神经网络( convolutional neural network，CNN) 与注意力机制的驾驶疲劳检测方法。
2020_融合人眼特征与深度学习的疲劳驾驶检测模型	计算机工程，引用量0，长安大学	CCF C	针对现有疲劳驾驶检测技术不能有效平衡准确性和实时性的问题，通过融合人眼特征与深度学习，构建一种新的疲劳驾驶检测模型。
2021_基于边缘计算的疲劳驾驶检测方法	计算机工程，引用量0，武汉理工大学	CCF C	现有疲劳驾驶检测方法通常将驾驶过程中采集的数据传输至云端进行分析，然而在车辆移动过程中网络覆盖范围、响应速度等因素会造成检测实时性差。为在车载嵌入式设备上对驾驶人疲劳状态进行准确预警，提出一种基于边缘计算的疲劳驾驶检测方法。

计算机视觉研究热点趋势分析

引用量分析

疲劳检测

https://kns.cnki.net/kns/brief/default_result.aspx?code=CIDX&kw=疲劳检测

学术关注度：可以发现国内外论文相关文献量差距很大，国内差不多每年80篇，国外差不多300篇。

实际上疲劳检测是一个比较大的研究问题（主要包括视觉，生理信号以及车辆信息三个方向的研究），可以看出论文的发表量和研究问题的大小并不匹配，只能推测出疲劳检测的研究已经达到了一个瓶颈期，很难有新的突破。

因此需要有一个新的疲劳制定标准（比如是疲劳迹象还是疲劳驾驶时长），规范疲劳检测方向的研究，也需要有一位知名度较高的学者能够站出来对过去近几年的疲劳检测文章进行“拨乱反正”，确定之前哪些方向的研究是有意义的，哪些是灌水的，这样才能提高疲劳检测的总体研究水平。
人脸识别
文本识别
自动驾驶
图像处理
图像分割
三维场景重建

实际上疲劳检测是一个比较大的研究问题（主要包括视觉，生理信号以及车辆信息三个方向的研究），可以看出论文的发表量和研究问题的大小并不匹配，只能推测出疲劳检测的研究已经达到了一个瓶颈期，很难有新的突破。个人感觉只能从疲劳数据集、面部疲劳特征的筛选，以及疲劳检测的实时性应用上下功夫。

因此需要有一个新的疲劳制定标准（比如是疲劳迹象还是疲劳驾驶时长），规范疲劳检测方向的研究，也需要有一位知名度较高的学者能够站出来对过去近几年的疲劳检测文章进行“拨乱反正”，确定之前哪些方向的研究是有意义的，哪些是灌水的，这样才能提高疲劳检测的总体研究水平。

我觉得比较水的疲劳检测论文无外乎这几点

不考虑数据集本身的特点，一言不合就使用深度学习模型，完成两步走：提取特征 + 对数据集进行训练。
- 疲劳数据集在标注疲劳标签时本身就有问题，训练的模型精度再高，得到的模型也是过拟合的模型。
- 单纯使用浅层的人工疲劳特征（EAR, MAR）就能很好的对数据集的疲劳状态进行识别，但有的研究就要绕远路使用深度学习模型从浅层的疲劳特征中继续学习深层疲劳特征，完成疲劳判断，深度学习模型起到多大的作用也没有分析。
现成较好的轮子（深度学习模型）不用，喜欢自己造轮子，造好的轮子不能单独发表到相应研究方向的较好的期刊，就用疲劳检测包装一下：
- 自己训练人脸关键点检测模型
- 自己训练表情模型（FER2013）
- 自己训练人眼关键点定位模型（CEW，LFW）

疲劳检测的解决方案研究（科学性研究）

最近这3年的疲劳检测发展现状

有的研究只针对某些疲劳迹象，比如验证模型在YawDD上哈欠检测准确度，验证模型在NTHU-DD数据集上的疲劳行为检测准确度等。
而有的研究则使用深度学习模型，对标记好KSS疲劳标签的RLDD或者Drozy数据集进行训练，这类论文的研究灵活性在于：
- 研究特征的预处理，即提取眨眼特征，嘴巴图片等，接着使用模型对多模态特征进行学习。
- 因为标有KSS标签的每个视频约10min，差不多18000帧/个视频。如果将每个视频作为训练样本，使用LSTM或者3D卷积模型进行疲劳行为学习的话，空间特征学习还是较容易的，但是对于时间特征的学习就很困难了。因此需要先将每个视频切分成多个小的序列，作为每一个样本。但是在切分样本时不同研究者的刀工是不同的，得出的结论可比性较低。而且对于这类真实疲劳状态下的视频来说，仅通过一个标签进行定性确实有点不妥，用这类数据集进行深度学习模型的训练，此方法有待商榷。

基于面部的疲劳检测研究，可以上升到了一个哲学问题

对于疲劳检测，是对疲劳结果进行检测，还是对疲劳过程进行检测。

如果仅对结果进行检测，则会忽略疲劳变化过程中有用的信息；

如果仅对疲劳过程进行检测，则需要先将每一帧的图片转换成有用的人工特征（比如EAR，MAR，PERCLOS，人脸表情，头部姿态，眼睛视线等），将视频处理成有用的特征序列。然后像股票分析一样，进行疲劳过程中的多模态的时间序列分析，预测相对于当前时刻的未来特征序列，接着对未来的特征序列进行疲劳分类。但是在实践中会存在很大的困难：

对于时间序列模型，不管是RNN、 LSTM还好，还是最近很火的Transformer，虽然可以完成序列到序列的分析，并且通过某种算法将输出的序列映射成疲劳的类别，但是此过程相当耗时，不适合实时的疲劳检测。

二是有些特征受人为习惯，摄像头角度的影响比较严重（头部姿态，眼睛视线），如果在源域上进行多模态的模型学习，得到的模型在目标域上效果较差。

我们不禁停下来思考，疲劳究竟是什么？

在美国和中国，对于驾驶疲劳的定义有一定区别

美国公路安全局(NHTSA)认证 PERCLOS作为疲劳驾驶识别的唯一特征（P70, P80指标）参考 PERCLOS: A Valid Psychophysiological Measure of Alertness As Assessed by Psychomotor Vigilance

国家出台文件中对疲劳驾驶的界定是基于驾驶时长的参考我国对疲劳驾驶的界定

公安部关于《中华人民共和国道路交通管理条例》若干条款的解释（1988年7月4日）第九项第二款规定，“过度疲劳，是指驾驶员每天驾车超过八小时或者从事其他劳动体力消耗过大或睡眠不足，以致行车中困倦睦睡、四肢无力，不能及时发现和准确处理路面交通情况的。”

科学有意义的疲劳检测研究应该是怎样的？（浅谈一下）

下面这篇论文在疲劳检测任务的系统设计上，我觉得是比较科学的：

2020_基于信息融合技术的行车安全监测系统（计算机科学，CCF B，引用量2，哈尔滨工业大学，黑龙江大学）

论文提出：

现阶段疲劳检测存在的问题

“物物相连，万物互联”概念的提出与实现使得物联网技术在我们生活的方方面面得以应用，汽车在设计制造时也越来越融入智能化元素，驾驶员通过汽车中控可以选择查看车辆的胎压、行驶速度、车内温度等车况信息。此外，各类智能
化检测设备争相涌现，驾驶员可以选择购买酒精测试仪对自身是否达到酒驾标准进行判断，并根据自身状况利用互联网平台寻求代驾服务。
实际使用各类智能化检测设备的过程中，上述功能或设备存在种种不足。
- 首先，大部分配备胎压、车速、温度检测功能的汽车都需要驾驶员在中控屏幕上人为选择显示界面查看车况信息，异常的参数信息（如胎压过低）则需要驾驶员自身查看后去判断，没有真正意义上达到智能化监测预警的目的。
- 其

锐单商城拥有海量元器件数据手册、IC替代型号，打造电子元器件IC百科大全！

【自动驾驶】基于面部Fatigue检测的技术报告

文章目录

相关文章