ＩＩ Ｖ 。脚Ｌ。ｃ 恶 【本文献信息】张华，杨帆，潘国锋，等．应用于驾驶疲劳监测的人眼定位与状态分析［Ｊ］．电视技术，２０１４，３８（７） 应用于驾驶疲劳监测的人眼定位与状态分析 张华 ，杨帆 ，潘国锋 ，孔哲 （１．河北工业大学，信息工程学院，天津３００４０１；２．中国人民９３７１６，天津３０１７１６） 【摘要】驾驶疲劳监测对算法实时性及可靠性要求高，提出一种快速人眼定位及状态分析算法。首先采用Ａｄａｂｏｏｓｔ分类器在 视频序列中定位人脸，并给出图像自商融合方法增强算法对光照的适应能力；然后利用灰度投影划分人眼区域，并通过Ｂｅｒｎｓｅｎ 局部自适应二值化方法提取眼睛候选区；其次对候选区进行图像矩描述，通过椭圆参数分析及上下文信息实现眼睛定位；最后 针对疲劳判定指标特点，采用椭圆短轴参数表征眼睛睁开高度实现眼睛状态分析。实验表明，算法对光照鲁棒性强，平均正确 定位率达到９８．３４％，监测速度达到２８ ｆ／ｓ（帧／秒），算法适用于疲劳判断指标，可应用于疲劳监测系统，具有较高的实用价值。 【关键词】ＰＥＲＣＬＯＳ指标；自商融合；图像矩；上下文信息 【中图分类号】ＴＮ９１１．７３；ＴＰ３９１．４ 【文献标志码】Ａ Ｅｙｅ Ｌｏｃａｔｉｏｎ ａｎｄ Ｓｔａｔｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｄｒｉｖｅｒ Ｆａｔｉｇｕｅ Ｄｅｔｅｃｔｉｏｎ ＺＨＡＮＧ Ｈｕａ 一，ＹＡＮＧ Ｆａｎ ，ＰＡＮ Ｇｕｏｆｅｎｇ ，ＫＯＮＧ Ｚｈｅ。 Ｊ．Ｓｃｈｏｏｌ ｏｆＩｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｅｅｎｒｉｎｇ，Ｈｅｂｅｉ ＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，兀ｎ ｎ ３００４０１，Ｃｈｉｎａ； ２．Ｔｈｅ ９３７１６ Ｕｎｉｔ ｏｆＣｈｉｎｅｓｅ Ｐｅｏｐｌｅ’ｓ Ｌｉｂｅｒａｔｉｏｎ Ａｒｍｙ，Ｔｉａｎｊｉｎ ３０１７１６，Ｃｈｉｎａ） 【Ａｂｓｔｒａｃｔ】Ｓｙｓｔｅｍ ｏｆ ｄｒｉｖｅ ｆａｔｉｇｕｅ ｄｅｔｅｃｔｉｏｎ ｈａｓ ｈｉｇｈ ｒｅｑｕｉｒｅｍｅｎｔｓ ｔｏ ｔｈｅ ｒｅａｌ—ｔｉｍｅ ａｎｄ ｒｅｌｉａｂｉｌｉｔｙ ｏｆ ｌａｇｏｒｉｔｈｍ，ａｎ ｌａｇｏｒｉｔｈｍ ｏｆ ｑｕｉｃｋｌｙ ｅｙｅ ｌｏｃａｔｉｏｎ ａｎｄ ｓｔａｔｅ ｒｅｃｏｇｎｉｔｉｏｎ ｉｓ ｐｒｏｐｏｓｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ．Ｆｉｒｓｔｌｙ，ｆａｃｅ ｉｓ ｌｏｃａｔｅｄ ｂｙ Ａｄａｂｏｏｓｔ ｃｌａｓｓｉｉｅｒ ｉｆｎ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ，ａｎｄ ａ ｍｅｔｈｏｄ ｏｆ ｉｍａｇｅ ｓｅｌｆ ｑｕｏｔｉｅｎｔ ｉｓ ｇｉｖｅｎ ｔｏ ｅｎｈａｎｃｅ ａｄａｐｔａｂｉｌｉｔｙ ｔｏ ｉｌｌｕｍｉｎａｔｉｏｎ．Ｓｅｃｏｎｄｌｙ，ｅｙｅｓ ｒｅ，ｏｎ ｉｓ ｄｉｖｉｄｅｄ ｏｕｔ ｂｙ ｇｒａｙ ｐｒｏｊｅｃｔｉｏｎ ａｎｄ ｅｙｅｓ ｃａｎｄｉｄａｔｅ ｒｅｇｉｏｎ ｉｓ ｅｘｔｒａｃｔｅｄ ｂｙ Ｂｅｍｓｅｎ’Ｓ ｂｉｎａｒｙ ｍｅｔｈｏｄ．Ｔｈｉｒｄｌｙ，ｉｍａｇｅ ｓｅｃｏｎｄ ｍｏｍｅｎｔ ｉｓ ｕｓｅｄ ｔｏ ｃｈａｒａｃｔｅｒｉｚｅ ｔｈｅ ｃａｎｄｉｄａｔｅ ｒｅｇｉｏｎ ａｎｄ ｒｅａｌｉｚｅ ｔｈｅ ｅｙｅｓ ｐｏｓｉｔｉｏｎ ｂｙ ａｎａｌｙｚｉｎｇ ｅｌｌｉｐｓｅ ｐａｒａｍｅｔｅｒｓ ａｎｄ ｃｏｎｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎ．Ｆｉｎａｌｌｙ，ａｉｍｉｎｇ ｔｏ ｔｈｅ ｆｅａｔｕｒｅｓ ｏｆ ｆａｔｉｇｕｅ ｄｅｔｅｃｔｉｏｎ ｊｕｄｇｍｅｎｔ ｓｔａｎｄａｒｄｓ，ｓｈｏｒｔ ａｘｉｓ ｐａｒａｍｅｔｅｒｓ ｏｆ ｅｌｌｉｐｓｅ ｉｓ ｕｓｅｄ ｔｏ ｄｅｓｃｒｉｂｅ ｔｈｅ ｃｌｏｓｕｒｅ ｏｆ ｅｙｅ．Ｅｘｐｅｒｉｍｅｎｔｓ ｓｈｏｗｅｄ ｔｈａｔ，ｔｈｅ ａｌｇｏｒｉｔｈｍ ｈａｓ ｓｔｒｏｎｇ ｒｏｂｕｓｔｎｅｓｓ ｔｏ ｉｌｌｕｍｉｎａｔｉｏｎ，ｔｈｅ ａｖｅｒａｇｅ ｃｏｒｒｅｃｔ ｐｏｓｉｔｉｏｎ ｒａｔｅ ｉｓ ９８．３４％，ａｎｄ ｔｈｅ ｄｅｔｅｃｔｉｏｎ ｒａｔｅ ｉｓ ２８ ｆ／ｓ．Ｔｈｅ ａｌｇｏｒｉｔｈｍ ｃａｎ ｂｅ ｕｓｅｄ ｉｎ ｄｒｉｖｅｒ ｆａｔｉｇｕｅ ｄｅｔｅｃｔｉｏｎ ｓｙｓｔｅｍ，ａｎｄ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｖａｌｕｅ ｏｆ ｔｈｅ ａｌｇｏｒｉｔｈｍ ｉｓ ｈｉｇｈ． 【Ｋｅｙ ｗｏｒｄｓ】ＰＥＲＣＬＯＳ ｓｔａｎｄａｒｄ；ｉｍａｇｅ ｆｕｓｉｏｎ ｏｆ ｓｅｌｆ ｑｕｏｔｉｅｎｔ；ｉｍａｇｅ ｍｏｍｅｎｔ；ｃｏｎｔｅｘｔ ｉｆｎｏｒｍａｔｉｏｎ 因长时间驾驶等原因引起的驾驶疲劳已经成为导致 好的ＳＶＭ分类器在二值化人脸图像中定位人眼，并通过 交通事故的重要原因之一…。由于人眼的某些行为能够 粒子滤波器进行跟踪，最后利用模版匹配法判断眼睛睁闭 准确地反映驾驶员所处的精神状况，基于人眼状态的驾驶 状态。然而驾驶室外部环境复杂多变，受其影响脸部光照 疲劳监测，已成为驾驶疲劳监测系统研究中的热点方向， 置并分析眼睛状态 。 随机、快速多变，偏光、侧光、阴影等均给基于机器视觉的 眨眼时间只有２００ ｍｓ ，疲劳监测对算法实时性要求极 其核心内容是在连续视频序列中准确、快速地确定人眼位 人眼定位制造了困难；另一方面，人类在清醒状态下每次 目前，疲劳监测中的眼睛定位及状态分析方法主要 高。传统算法很难在可靠性及实时性两方面同时满足疲 分为红外图像和可见光图像两类。红外图像方法需要特 劳监测系统。 殊的光源照射，而且闭眼状态下在红外图像中定位眼睛困 提出一种应用于实际驾驶环境中的快速人眼定位与 ｔ分类器检测人脸为基 难，基于可见光图像的疲劳监测具有广阔的前景 。例 状态分析算法，该算法以Ａｄａｂｏｏｓ如，文献［４］根据肤色模型分割出肤色区域，并利用形态 础，分析了实际驾驶室环境中人脸光照特点，给出了图像 学方法及复杂度函数实现眼睛定位，最后利用眼睛颜色及 自商融合方法克服光照影响；采用自适应局部阈值方法二 结构特征实现眼睛状态分析，该方法定位准确、可度量不 值化人眼区域自熵图，通过图像矩特征及目标上下文信 实现了眼睛定位及状态分析。本文算法定位准确率 同人眼睁开高度；为提高算法速度，文献［５］采用灰度视 息，频图像的地形特征进行眼睛精确定位，然后利用ＳＶＭ方 高、实时ｆ生好，适用于驾驶员疲劳监测。 法将眼睛识别为睁开、闭合两种状态；文献［６］通过训练 基金项目：国家科技重大专项课题资助项目（２００９ＺＸ０２３０８一Ｏ０４） １９４《电视技术》第３８卷第７期（￣ｇ４３４期）Ｉ投稿网址ｈｔｔｐ：／／ｗｗｗ．ＶｉｄｅｏＥ．ｏｎ ｌｌ Ｖ 。脚 １ 一１ ＝， ∑∑（ 一 ） （ｙ—ｙ）ｑｆ（ｘ，ｙ） Ｊ：０ ｉ：０ （６） 了３种位置关系及区域排列顺序。通过分析可得出下列 结论：当区域１与区域３的中心ｙ轴距离小于区域１与区 式中：（ ，歹）为图像的质心，根据式（５）求出。图像二 域２的中心 轴距离时，区域１和２为目标区域；否则区 阶矩把目标图像描述为一个以图像质心为中心、短半轴为 域Ｉ和３为目标区域。 口、长半轴为６、倾斜角度为 的椭圆，椭圆的３个参数分别 为 昌—■■■■■一１：！ｓ昌＇■■■●■一 ■；一■●●■■一二■：鲁■・■・■■ 二＇ 昌■■■■■一 ； 口１ 口１百Ｉ ａ情况１ ｂ情况２ 图６上下文眼睛位置分析 ｃ情况３ ｆ ，。＋ ，：一［（ ，。一 ， ） ＋４ ，，］十１十 ｎ＝｛Ｌ ————— ———一｝（７） ２ Ｊ １．５眼睛状态分析 ：｛Ｌ． ＝＿ａｒ１ ｃｔａｎ ２ Ｊ （８） 间段内的眨眼频率、总闭眼持续时间、眨眼时间均值和 ＰＥＲＣＬＯＳ值 ’加 ，且各指标间具有互补性。图７为ＰＥＲ— ＣＬＯＳ指标原理示意，ｔ ，ｔ ，ｔ 分别为３次眨眼过程中瞳孑Ｌ 目前基于眼部行为的疲劳判断指标主要有：采样时 以图４中候选区域为例，图５给出了候选区域的椭圆 描述结果及椭圆参数统计结果。图５ｂ中右侧Ｙ轴为参数 ，纵向张开低于２０％的时间，ＰＥＲＣＬＯＳ值即为采样时段内， 瞳孔被遮住８０％以上的时间占采样时间的比例。ＰＥＲ－ 左侧Ｙ轴为参数ａ和ｂ， 轴为候选区域号。正常情况 ＣＬＯＳ值及其他三种指标都是在线统计监测类指标，因此 下，驾驶员头部倾斜角度在１０。以内；眼睛长度、宽度满足 “三庭五眼”规则。据此，通过人眼区域划分情况，自适应 可使用人眼椭圆参数短轴ａ来表征瞳孔纵向开合高度，只 要算法能在一个眨眼过程多次采样眼睑位置即可。 设定ａ，ｂ及 范围，从候选区域中筛选出人眼区域。图５ 中区域１６及区域１９为左右人眼区域。 一 区域标号 ｂ区域参数分布 图５椭圆描述及眼睛判定 驾驶员佩戴眼镜时，在闭眼状态下，眼睛区域的参数 与眼睛上方的镜框边缘区域及部分眉毛区域的参数相近， 无法通过限定ａ，ｂ及 范围排除这部分干扰区域。目标 上下文是指场景中目标与其他物体的位置关系 ，闭眼 时存在的干扰区域位于人眼区域上方，因此可通过目标上 下文信息进一步筛选目标。 用矩形表示干扰区域，用圆角矩形表示目标眼睛区 域，用一阶矩质心表示区域的位置。按“首先Ｙ轴方向由 大到小，其次 轴方向由大到小”的规则排列各候选区域， 那么目标区域与干扰区域存在以下３种位置关系：１）头部 倾斜角度较小时，两个眼睛同时低于眉毛区域；２）头部向 右侧倾斜一定角度后，左眼区域高于右侧眉毛；３）头部向 左侧倾斜一定角度后，右眼区域高于左侧眉毛。图６给出 １９６《电视技术》第３８卷第７期（总第４３４期）Ｉ投稿网址ｈｔｔｐ：／／ｗｗｗ．ＶｉｄｅｏＥ．ｃｎ ｌｌ Ｖ ＩＤＥｏ ＡＰＰＬＩＣＡＴ视频应用与工程 ｌｏＮ＆ＰＲｏＪＥＣＴ 副驾驶员进入瞌睡状态。同时引入主观监测技术，记录驾 驶员状态并给出评价。从连续５ ｈ的２名测试者驾驶实 验来看，本文算法应用于２种指标可以有效地进行疲劳预 警；由于算法高达２８ ｆ／ｓ采样速率及６０ Ｓ的采样时间，使 单帧图像眼睛定位失败及眼睛状态的误判对预警有效性 影响很小，疲劳监测受光照影响小，提升了预警正确率。 表２疲劳指标阈值及采样时间 ［２］葛如海，陈彦博，刘志强．基于计算机视觉的驾驶员疲劳识别方法的 研究［Ｊ］．中全科学学报，２００６，１６（９）：１３４－１３８． ［３］隋博，赵永胜．基于视觉的可靠性疲劳驾驶检测技术研究［Ｊ］．电视技 术，２０１１，３５（１５）：９一ｌ２． ［４］朱淑亮，王增才，王树梁，等．头部多角度的眼睛定位与状态分析［Ｊ］． 重庆大学学报，２０１０，３３（１１）：２０－２６． ［５］刘鹏，江朝晖，熊进，等．用于驾驶疲劳检测的人眼定位及疲劳判别算 法［Ｊ］．计算机工程与应用，２０１０，４６（２４）：１８５—１８８． ［６］王琼，王欢，赵春霞，等．基于眼睛状态识别的驾驶员疲劳监测［Ｊ］．南 篱程 ｜｜｜ ｜｜ ３ ｜｜ｉＩ｜ ｜ｉｌ 京理工大学学报：自然科学版，２０１０，３４（４）：４．４８－４５３． ［７］潘晓东，李君羡．基于眼部行为的驾驶疲劳检测方法［Ｊ］．同济大学学 报：自然科学版，２０１１，３９（２）：２３１－２３５． 瘢黄 。ｌ 也 －－０ｉｉ２３７ １：！ｉ— ｜哟ｊ ３ 结论 针对驾驶员疲劳监测中实时陡与可靠性两个关键问 题，提出了一种快速、精确的驾驶员眼睛定位及状态判定 算法。通过一种图像自商融合方法，增强了算法对驾驶室 光照的适应能力；采用投影方法划分人眼区域，并利用帧 间信息缩小检测区域，减小了数据量、提高了算法速度；采 用眼睑特征解决了区域粘连问题，并通过图像矩特征及上 下文信息实现了眼睛的定位。不同光照条件下的多种驾 ［８］ＶＩＯＬＡ Ｐ，ＪＯＮＥＳ Ｍ．Ｒｏｂｕｓｔ ｒｅａｌ—ｔｉｍｅ ｆａｃｅ ｄｅｔｅｃｔｉｏｎ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００４，５７（２）：１３７—１５４． ［９］武晖，于昕，隋尧，等．融合上下文信息的场景结构恢复［Ｊ］．中国图象 图形学报，２０１２，１７（７）：８３９—８４５． ［１０］ＰＯＲＴＯＵＬＩ Ｅ，ＢＥＫＩＡＲＩＳ Ｅ，ＰＡＰＡＫＯＳＴＯＰＯＵＬＯＳ Ｖ，ｅｔ ａ１．Ｏｎ— ｍａｄ ｅｘｐｅｒｉｍｅｎｔ ｆｏｒ ｃｏｌｌｅｃｔｉｎｇ ｄｒｉｖｉｎｇ ｂｅｈａｖｉｏｒａｌ ｄａｔａ ｏｆ ｓｌｅｅｐｙ ｄｒｉｖｅｒｓ ［Ｊ］．Ｓｏｍｎｏｌｏｇｉｅ—Ｓｃｈｌａｆｆｏｍｃｈｕｎｇ ｕｎｄ Ｓｃｈｌａｆｍｅｄｉｚｉｎ，２００７，１ １（４）：２５９． ［１１］潘晓东，李君羡，徐小冬．基于眼部行为的驾驶疲劳评价指标的阈值 ［Ｊ］．同济大学学报：自然科学版，２０１１，３９（１２）：１８１１－１８１５． ［１２］苑玮琦，滕红艳．眼睛疲劳程度判定方法研究［ＥＢ／ＯＬ］．［２０１３— ０６—１８］．ｈｔｔｐ：／／ｗｗｗ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／１１．２１２７．ｔｐ．２０１２０４２５． １７１９．０２１．ｈｔ ． 车实验表明，定位准确率达到９８．３４％，算法处理速度高 达到２８ ｆ／ｓ，算法对光照鲁棒性强，完全满足疲劳监测系 统要求；结合ＰＥＲＣＬＯＳ及眨眼时间均值两个指标进行疲 劳监测，应用该算法的疲劳监测受光照影响小、预警正确 率高，本文算法实用价值很高。 参考文献： ［Ｉ］杨海燕，蒋新华，聂作先．驾驶员疲劳检测技术研究综述［Ｊ］．计算机 应用研究，２０１０，２７（５）：１６２１－１６２４． ◇ 作者简介： 张华（１９８６一），硕士生，助理工程师，主要从事图像处理、智能信 息处理及信号分析等方面的研究； 杨帆（１９６４一），教授，博士生导师，主要从事计算机视觉检测技 术、生物特征识别技术和图像处理与模式识别方面的研究。 责任编辑：任健男 收稿日期：２０１３－－０６－１８ （上接第１９３页） 参考文献： ［１］孙红亮，唐艳发，梁春锋，等．基于ＦＰＧＡ＋ＡＲＭ的高速计算机屏幕 信息记录系统［Ｊ］．电视技术，２０１０，３４（ｓ２）：１６—１９． ［２］敖文兵．基于Ｈ．２６４／ＡＶＣ屏幕录制回放系统［Ｄ］．武汉：华中科技大 学，２０１２． ｕｎｄｅｒ Ｗｉｎｄｏｗｓ ｏｎ ｐｈｙｓｉｃａｌ ｔｈｅｏｒｙ ｅｄｕｃａｔｉｏｎ［Ｃ］／／Ｐｒｏｅ．ＩＣＭＴ．Ｈａｎｇ— ｚｈｏｕ：ＩＥＥＥ Ｐｒｅｓｓ，２０１ １：３７０６—３７０９． ［７］汤庸，叶小平，汤娜．数据库理论及应用基础［Ｍ］．北京：清华大学出 版社，２００４． ［３］ＺＨＡ０ Ｌｉｎｇ．Ｒｅｍｏｔｅ ｓｃｒｅｅｎ ｌｏｃｋｅｄ ｔｅｃｈｎｏｌｏｇｙ ｂａｓｅｄ ｏｎ ｗｉｎｓｏｃｋ［ｃ］／／ Ｐｒｏｃ．Ａｓｉａ—Ｐａｃｉｆｉｃ Ｙｏｕｔｈ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ Ｙｏｕｔｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｔｅｃｈ． 作者简介： 王圣杰（１９８８一），硕士生，主要研究方向为视频处理； 杨华（１９７６一），女，副研究员，主要研究方向为智能视频分析、视 ｎｏｌｏｇｙ．［ｓ．１．］：Ａｔｌａｎｔｉｓ Ｐｒｅｓｓ，２０１１：６５．６８． ［４］ＨＯＵ Ｊｉｎｂｉａｏ．Ｄｅｓｉｇｎ ａｎｄ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ａ ｒｅｍｏｔｅ ｓｃｒｅｅｎ ｍｏｎｉｔｏｒｉｎｇ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ Ｊａｖａ［ｃ］／／￣．ＷＣＳＥ．Ｘｉａｍｅｎ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅ— ｔｙ．［ｓ．１＿］：ＩＥＥＥ Ｐｒｅｓｓ，２００９：２９２－２９６． ［５］ＺＨＡＮＧ Ｊｉａ’ａｉ．Ｔｈｅ ｒｅｓｅａｒｃｈ ａｎｄ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｓｃｒｅｅｎ ｍｏｎｉｔｏｒｉｎｇ ｎｄ ｐｒａｏｃｅｓｓ ｃｏｎｔｒｏｌｌｉｎｇ ｉｎ Ｃ／Ｓ ｍｏｄｅ ｂａｓｅｄ ｏｎ ｃ＃ｔｅｃｈｎｏｌｏｇｙ［Ｊ］＿Ａｐｐｌｉｄ ｅＭｅｃｈａｎｉｃｓ ａｎｄ Ｍａｔｅｒｉｌｓ，ａ２０１２（６）：１８００－１８０２． 频编码与传输； 郑世宝（１９５９一），教授，博士生导师，主要研究方向数字电视、网络 多媒体、智能视频监控。 梁龙飞（１９７５一），高工，副总工，主要从事安防监控技术与工程 研究。 责任编辑：任健男 收稿日期：０１３－０５－２４ ２［６］ＪＩＡＮＧ Ｒｏｎｇ．Ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｉｎｔｅｌｌｉｇｅｎｔ ｒｅｍｏｔｅ ｍｏｎｉｔｏｒｉｎｇ ｐｌａｔｆｏｒｍ １９８《电视技术》第３８卷第７期（总第４３４期）Ｉ投稿网址ｈｔｔｐ：／／ｗｗｗ．ＶｉｄｅｏＥ．ｃｎ
