驾驶员监控系统DMS算法逻辑介绍

文章来源：https://zhuanlan.zhihu.com/p/112322258

作者：知乎 黄浴

驾驶员监控系统（driver monitoring system，DMS）一般是对L2-L3级别的自动驾驶系统而言的，对L4级别是没有意义的，除非系统仍然是需要安全员的测试环节。

监控的目的是发现驾驶员走神（distraction）、疲劳（fatigue）或者打瞌睡（drowsiness），甚至出现无法驾驶的意外情况，比如欺骗辅助驾驶系统用矿泉水代替双手在方向盘上，或者与乘客争吵打架等。另外，如果作为自动驾驶的研发阶段，监控驾驶员可以提供驾驶行为的第一手数据，甚至用于仿真模拟系统中。

非侵入式（non-intrusive）方法是监测的首选方法，而基于视觉的系统更具有吸引力。主要的视觉线索包括面部特征、手特征或身体特征。许多检测系统仅使用单个视觉线索，这种系统鲁棒性差，比如出现遮挡或光照变化时，容易被干扰。所以将多种视觉线索组合才是关键，也是具有挑战性的。

一个驾驶员面部监控系统是基于驾驶员面部图像处理来研究驾驶员身心状况的实时系统。可以从眼睑闭合、眨眼、凝视方向、打哈欠和头部运动等，检测到驾驶员状态。基本分成两大类：

1. 仅从眼部区域检测驾驶员；
   
2. 不仅可以从眼睛中检测，还可以从脸部和头部的其他区域检测。
   

   下图是一个驾驶员脸部监控系统框图：检测人脸，还有眼睛和其他脸部特征，同时跟踪变化，提取症状，实现疲劳和分心检测。驾驶员面部监控系统的主要挑战是：
   

   
   

• （1）"如何测量疲劳？"第一个挑战是如何准确定义疲劳以及如何测量疲劳; 疲劳与体温，皮肤电阻，眼球运动，呼吸频率，心率和大脑活动之间存在关系;第一个也是最重要的疲劳迹象会在眼睛中出现。
  
• （2）"如何测量注意力？"第二个挑战是测量驾驶员对道路的注意力；可以从驾驶员头部和注视方向（gaze direction）估计驾驶员的注意力。
  

  人脸检测方法可参照一般目标检测的方法，现在深度学习也已经在这个领域展示"肌肉"。人脸检测是一个老问题，人脸检测挑战的情况有以下一些：
  

• — 面内旋转;
  
• — 面外旋转;
  
• — 化妆品，胡须和眼镜的存在;
  
• — 表情（快乐，哭泣等）;
  
• — 照明条件;
  
• — 脸部遮挡;
  
• — 实时处理要求。
  

  眼部区域总是先被用于驾驶员症状提取，因为最重要的心理活动与眼睛活动有关。
  

  眼睛检测的两大类：
  

• 1) 基于红外光谱成像的方法；
  
• 2) 基于视觉的方法；
  

  除了眼睛，还可以检测其他面部成分：嘴巴，鼻子和脸部突出（Salient）点。
  

  面部跟踪是分析驾驶员心理活动的主要手段。这种跟踪任务和一般单目标的跟踪是相似的，主要挑战包括：
  

• 从三维空间到二维空间的映射而让一些信息丢失;
  
• — 具有复杂的形状或运动;
  
• — 部分遮挡;
  
• — 环境光线变化;
  
• — 实时跟踪要求。
  

  与疲劳、分心和打瞌睡有关的症状提取包括：
  

• 1) 与眼部区域有关的症状：闭眼、眼睑之间的距离、眨眼速度快、凝视方向和跳跃运动;
  
• 2) 与嘴巴区域有关的症状：开/闭；
  
• 3) 与头部有关的症状：点头、头部姿势和头固定不变；
  
• 4) 与面部有关的症状：主要是表情。
  

  下面分别举几个例子：
  

  如图是一个基于深度神经网络（DNN）的驾驶员监控系统。
  

  
  

  其基于脸部、双目和嘴巴三个区域的检测网络结构如下：
  

  
  

  而基于单目（左眼）区域加嘴巴区域的检测网络结构如下
  

  
  

  如图是一个基于深度学习模型的人脸表情识别系统：输入图像检测面部和特征，从面部成分提取时空特征，使用预训练的分类器（图像取自CK+数据集（d））确定表情。
  

  
  

  而整个深度学习模型是CNN和LSTM结合，如下图
  

  
  

  下图一个身体姿势（posture）识别驾驶员分心症状的系统。其症状类包括：喝酒，调整收音机，正确姿势驾驶，摆弄头发或化妆品，面向后面，与乘客交谈，用左手打手机通话，用右手打手机通话，用左手发短信， 用右手发短信。
  

  
  

  系统的算法框图如图：包括面部检测器、手部检测器和皮肤区域分割。对于每个输出图像（即皮肤，面部，手），训练AlexNet和InceptionV3网络（5个AlexNet和5个InceptionV3），最后识别是一个加权组合输出。
  

  
  

  参考文献
  

1. S Zafeiriou, C Zhang, Z Zhang，"A Survey on Face Detection in the wild: past, present and future"，CVIU，2015
   
2. B Ko，"A Brief Review of Facial Emotion Recognition Based on Visual Information"，MDPI Sensors，2018
   
3. B Reddy et al., "Real-time Driver Drowsiness Detection for Embedded System Using Model Compression of Deep Neural Networks"，CVPR workshop，2017
   
4. Y Abouelnaga et al.,"Real-time Distracted Driver Posture Classification"，NIPS workshop，2018
   

Aibang now has a car cockpit DMS/OMS industry chain exchange group, and sincerely invites OEMs, tier 1, lens modules, chip algorithms, materials, equipment and other upstream and downstream enterprises in the industry chain to participate. Welcome everyone to join the Aibang Automotive Cockpit DMS/OMS Industry Chain Exchange Group for communication. Please forward this article before joining the group.