维普资讯 http://www.cqvip.com ９０ 交通与计算机 ２００７年第６期 第２５卷 总１３８期 基于双目立体视觉安全车辆间距测量技术研究 王虹刘嵩鹤 刘著铭 武汉４３００６３） （武汉理工大学摘 要基于双目立体视觉原理，提出了一种安全车辆间距测量方案。该系统根据目标车辆 在左右摄像头所获得的立体图像对应的不同坐标，计算出目标车辆到摄像头的距离。试验结果表 明，该测距方案测量精度高、测量范围广，能满足智能交通中车辆安全距离测量的实际需要，是一 种有效的前方车距测量方案。本文的研究方法，同样适用于对车辆前方其他目标物的距离测量。 关键词双目视觉；车辆间距；立体图像对 文献标识码：Ａ 中图法分类号：ＴＰ３９１ Ｏ 引 言 随着高速公路的飞速发展和汽车保有量的迅 速增加，近年来，我国公路交通事故频繁发生，给 应点问的位置偏差，获取目标的三维信息，进而测 量摄像头与目标问的距离。 、 双目成像示意图如图１所示，空间点Ｐ 在从 不同位置ｃ 和ｃ 所获取的两幅图像上的投影点 分别为Ｐ 和Ｐ 。 Ｊ 人们的生命和财产造成了巨大损失。２００３年公路 交通事故造成１０４ ３７２人死亡，每天约２８６人；造 成４９４ １７４人受伤，直接经济损失达到３３．７亿美 ， ／ 。｜Ｐ ，／ ； ／ ｛ 元口］。统计数据表明，每５ ｍｉｎ就有１人丧身车轮， 每１ ｍｉｎ会有１人因为交通事故而伤残 ］。车辆安 全辅助驾驶和自动驾驶是解决这些问题的一条重 ，要途径。 ｗ ｗ ｗ 汽车事故统计表明，对驾驶员造成的最大危 险大部分来自周围的车辆，对周围车辆观察也占 用了驾驶员相当大的精力和时间。因此，实现对驾 驶员周围环境状态实时通报，并在本车周围出现 车辆及发生车辆相撞危险时及时警示驾驶员是非 常重要的。安全车辆间距测量的理论和方法的研 究，已成为国内外智能交通领域的研究热点之一。 本文基于双目立体视觉原理，提出了一种安 全车辆间距测量方案。该系统根据目标车辆在左 右摄像头所获得的立体图像对应的不同坐标，计 算出目标车辆到摄像头的距离。通过试验证明了 本方法的有效性。 ＝图１双目成像示意图 则根据照相机成像的线性理论得 ，ｗ ｗ ｗ 乙 （１） ｚｎ科 ＝ １） Ｊ】ｌ ２ （２） 式中：ｚｎ’，ｚ ’分别为点Ｐ 在２个摄像机坐标系 １双目立体视觉原理 立体视觉是计算机视觉的一个重要分支，它 利用成像设备从不同的位置获取被测物体的２幅 或多幅图像，根据三角测量原理，通过计算图像对 中的 轴（光轴）坐标；（ ¨，ｙｊ”，１）和（ ∞，ｙ５∞， １）分别为图１中尸－和尸ｚ在各自图像坐标系下的 齐次坐标，Ａ“ 和Ａ佗’分别为２个摄像头的内参数 矩阵；Ｍ 和 分别为２个摄像头之间的旋转平 移矩阵；Ｍ 、Ｍ ’为拍摄２幅图像时的投影变换 矩阵；（ ，ｙ ，Ｚ ，１）为图１中空间点Ｐ 在世界 坐标系下的齐次坐标。 收稿日期：２００７—１０－３０ 维普资讯 http://www.cqvip.com 基于双目立体视觉安全车辆间距测量技术研究——王 虹 刘嵩鹤 刘著铭 假设拍摄２幅图像时的投影变换矩阵已经由 标定给出，分别为： ｆ ］ Ｍ ’一Ｉ ５ｊ’ 研；５’ ５ｊ’ｌ （３） 【 ｊ ｆ ；；） ；５’ ；ｊ’Ｊ （２） ］ Ｍ 一Ｊ ’ 錾’ 蟹’Ｊ （４） 【 ’ ；；’ ；ｉ’Ｊ 将Ｍ 、Ｍ。’代入式（１）和（２）得 ｆ ｘ ＋ ｛； Ｙ ＋ Ｚ ＋ｍｉ： Ｉ— （１】ｘｄ１ｘ 一 ｘｄ１Ｙ 一 ５３ ｘｄ１Ｚ ＝ ｘｄ１ ｌｍ；； ｘ ＋ Ｙ ＋ Ｚ ＋ ；： 【一ｍ ｘｄ１ｘ 一 ５； ｘｄ１Ｙ 一 ｘｄ１Ｚ 一 ｘｄ１ （５） ｆ Ｘ ＋ ； ｙ＿Ｗ＋ Ｚ ＋ ｆ；’ ｌ一 ｘｄ２ｘ 一ｍ５； Ｘｄ２Ｙ 一 ｘｄ２Ｚ ： ｘｄ２ ｌ ；ｉ’ｘ ＋ ；； ｙ ＋ｍ Ｚ ＋ ｌ—ｍ５｝ ｘｄ２ｘ 一ｍ５； ｘｄ２Ｙ 一 ｘｄ２Ｚ ＝ ５ ｘｄ２ （６） 由解析几何知，三维空间的平面方程为线性 方程，２个平面方程的联立为空间直线方程，式 （５）或（６）的几何意义是图１中过０ Ｐ 或０。Ｐ。的 直线。 由于空间点Ｐ 为直线的交点，所以联立式 （５）、（６），可以求出Ｐ 点的三维坐标（ｘ ，ｙ ， ｚ ）。事实上，利用３个方程即可求出空间点的三 维坐标，因此，利用式（５）和（６）联立的方程必定有 解，且解是惟一的。由此，便可通过两幅图像得到 现场三维信息，进而计算出距离。 ２双目立体视觉测距试验 ２．１摄像头的标定 借助已知点获取摄像机内部和外部参数的过 程称为摄像机的标定。设计高精度的机器视觉系 统时，相机质量、镜头失真都会引入系统误差。通 过标定可以在一定范围内校准和消除成像误差。 本文采用的是绘有一系列排列规则的正方形 图案的标定板（如图２所示），这些正方形的尺寸 已知，其顶点作为标定的参考点，使用Ｔｓａｉ ２步法 标定嘲，利用共面的参考点求取摄像机内外参数。 已知标定板Ｍ个顶点的世界坐标（ｘ ，ｙ ， ）和它 们对应的像平面坐标（．ｚ。，Ｙ。）的点， 一１，２，３，…， Ｍ，可构建一个矩阵Ａ，其中行的ａ 可表示为 ａ 一Ｅｙ。ｘ ，Ｙ Ｙ。，一．７２ ｘ ，一．７２ Ｙ ，Ｙ。］ （７） 图２标定过程 设Ｓ。与旋转参数ｒ ，ｒ。，ｒ ，ｒ 和平移参数 ， 了１ 有如下联系： Ｓ１一ｒ１／Ｔ ，Ｓ１一ｒ２／Ｔ ，Ｓ３一ｒ４／Ｔ ， Ｓ４一ｒ５／Ｔ ，Ｓ５一Ｔ ／了１ （８） 设矢量ｎ— ，．７２。，…，．７２Ｍ］ ，则由线性方程组 Ａｓ—ｎ （９） 可解出 。然后根据下列步骤计算出各个旋转和平 移参数： 设Ｓ—Ｓ ＋Ｓ；＋Ｓ；＋Ｓｉ，计算 ｆ ｌ ２ Ｓ（ １ Ｓ４—２ Ｓ ３）。 （ Ｓ一￥２Ｓ。” ≠（丁； ｛ １／（ ｝＋ ；） （ ｝＋ ；≠。） ｌ １／（Ｓ￣＋Ｓ：） （ ；＋ ｉ≠Ｏ） （１Ｏ） 设Ｔ （了１；）“。，即取正的平方根，计算 １＝Ｓ１Ｔ ， ２＝Ｓ２Ｔ ， ４＝＝＝Ｓ３Ｔ ， ｒｓ—Ｓ４Ｔ ，Ｔ ：Ｓ ｓＴ （１１） 选一个世界坐标为（ｘ，ｙ，ｚ）的点，要求其像 平面坐标（．ｚ，．ｙ）与图像中心较远，计算 １ｆｌ —ｒＰ 一ｒ 一ｒ４１Ｘ＋ｒｘ＋ｒｓ２ｙ＋Ｔ Ｙ＋Ｔ ２ ４ｘ＋ｒｓ ＋ 这相当于将算得的旋转参数应用于点（ｘ，Ｙ， ｚ）的ｘ和ｙ。如果Ｐ 和．７２的符号一致，且Ｐ 和Ｙ 的符号一致，则说明了１ 已有正确的符号，否则对 了１ 取负。下面计算其他旋转参数： ｒ３一（１一ｒ 一ｒ；）“。，ｒ６一（１一ｒｉ—ｒｊ）“。 ，．７—１一，．ｊ一，．２，．４）／ｒ３，，．８一（１一，．；一，．２，．４）／ｒ６ ，．９＝（１——，．３，．７——，．６，．８） 。 （１３） 建立另一组线性方程，计算焦距 和ｚ方向的 平移参数了１ 。可先构建一个矩阵Ｂ，其中的行ｂ 可 表示为 ｂ 一［ｒ ｘ ＋ｒ Ｙ。＋Ｔ Ｙ ］ （１４） 维普资讯 http://www.cqvip.com 交通与计算机 ２００７年第６期 第２５卷 总１ ３８期 设矢量口的行 可表示为 初速下的制动距离。超过这个距离的车辆，就是不 （ｒ７Ｘ ＋ｒ８Ｙ ） （１５） 合格车辆，不能在道路上行驶。 则由线性方程组Ｂｔ＝ｖ，可解出ｆ一［ ，Ｔ ］ 。 我国对汽车制动距离的要求是［４］：①不超过 利用上面对ｔ的估计来计算镜头径向失真是， ９座的载客汽车，初速度５０ ｋｍ／ｈ时，不超过１９ 并改进对 和 的取值。利用包含失真透视投影 ｍ；②其他总质量不超过４．５ ｔ的汽车，初速度５Ｏ 方程，可得到如下非线性方程： ｋｍ／ｈ是时，不超过２１ Ｉｎ；③其他汽车初速度３Ｏ Ｘ ｉ ｑ｛ｙｌ（１ Ｊｒ－ｋｒｚ）一 ｒ４ｒｓＹ ｉ ｑｒｏＺｉ －｝－Ｔｋｍ／ｈ时，不超过９ ｍ。 ｒ７＾十ｒｙ ｝ ８十ｒ９ 十』ｉ一１，２，…，Ｍ （１６） 用非线性回归方法解上述方程即可得到是， 和 的值。 对本文中所使用的双目立体视觉系统进行标 定得出的系统的主要参数如下（单位：象素）： 左摄像头：焦距砖”一８２７．１９Ｅ ８， ¨一８２５． （ａ）左ｌ荃ｌ像 （ｂ）右图像 图３车距测量试验 ４４１ ０，图像中心点坐标“ ”＝２５５．０７１ ７， ”一 依据上述的方法，通过计算双目立体视觉系 ２２１．９２３ ０，径向失真系数是＝［一０．０１９ ９；一０． 统的内外参数后，参照我国对汽车制动距离的要 １２１ ４；０．００３ ９；一０．００３ ９；０ 。 求选取了１Ｏ、１３、１５、１８、２２ ｍ ５个车距进行了实 右摄像头：焦距 ”一８１７．５９６ １， 一８１４． 验，对图３所示的车辆在不同角度进行了实验测 ８３４ ３，图像中心点坐标“ ＝２５０．１６９ ５， 一 量，所得实验数据如表１所列。 ２２３．９８３ ８，径向失真系数 一［Ｏ．１０６ １；一０．３９０ 试验结果表明，该测距方法可行和有效，能满 ３；一０．００２ ０；一０．０１５ ６；Ｏ 。 足智能交通中车辆安全距离测量的实际需要，是 外部参数：旋转矩阵 一［ｏ．０２３ ０；０．６１０ ０； 一种有效的前方车距测量方案。本文研究方法，同 一０．０３４ ９］，平移矢量Ｔ一［一４５７．１４５ １； 样适用于车辆前方其它目标物的距离测量。 ７．７９９ ５１；８９．１８７ ５ 。 表２列出了每个距离上多次测量数据相对于 ２．２车距实测 测量平均值的误差。从表中可以看出，距离在小于 各国的制动法规，都规定了各种车型在规定 １４ｍ的时候，各测量之间的误差绝大部分都在 表１车距测量数据 维普资讯 http://www.cqvip.com
基于双目立体视觉安全车辆间距测量技术研究——王 虹刘嵩鹤 刘著铭 ０．５％以下，当距离继续增加以后，由于使用的是 视觉不确定性的本质属性，为匹配提供更多的约 普通摄像头，精度比较低，畸变比较严重，因此误 束信息；②探索新的适用于全面立体视觉的计算 差开始增大，到２２ ＩＴＩ的时候误差增加到５ 选用 理论和匹配策略，选择有效的匹配准则和算法结 更加高精度的摄像头将会获得更好的测量精度。 构，解决灰度失真、几何畸变、噪声干扰等匹配问 表２车距测量数据误差 题；③向并行化算法发展，提高速度，减少运算 量，增强系统的实用性；④针对不同的应用目的， 建立面向任务的双目视觉系统。 随着光学、电子学以及计算机技术的发展，双 目立体视觉技术的研究将不断深入并逐渐实用 化，不仅将成为智能交通、工业检测、生物医学、虚 拟现实等领域的关键技术，还可应用于航天遥测、 军事侦察等领域。 由于当前双目视觉系统在交通安全方面的研 究还比较少，尚处于起步阶段，有一定的难度和深 度，所以本文目前所作的还是静态下的研究，车载 口 ］ ］ ］ ］ 端的实时系统将是进一步研究的内容。 参考文献 Ｚｈｅｎｇ Ｎａｎｎｉｎｇ，Ｔａｎｇ Ｓｈｕｍｉｎｇ，Ｈｏｎｇ Ｃｈｅｎｇ，ｅｔ ａ１．Ｔｏｗａｒｄ ｉｎｔｅｌｌｉｇｅｎｔ ｄｒｉｖｅｒ－ａｓｓｉｓｔａｎｃｅ ａｎｄ ｓａｆｅｔｙ ｗａｒｎｉｎｇ ｓｙｓｔｅｍｓ．ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ．２００４， ３结束语 １９（２）：６－１１ Ｊｏｎｅｓ Ｗ．Ｂｕｉｌｄｉｎｇ ｓａｆｅｒ ｃａｒｓ．ＩＥＥＥ Ｓｐｅｃｔｒｕｍ．２００２， 由于单眼看到的世界是二维的，损失了深度、 ３９（１）：８２—８５ 距离信息，无法判断前方车辆或行人的距离，更不 Ｔｓａｉ Ｒ Ｙ．Ａ ｖｅｒｓａｔｉｌｅ ｃａｍｅｒａ ｃａｌｉ ｂｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ 用说作出及时正确的反应，所以双目立体视觉系 ｆｏｒ ｈｉｇｈ—ａｃｃｕｒａｃｙ ３Ｄ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ ｍｅｔｒｏｌｏｇｙ 统比单目系统更适合智能交通中的应用。 ｕｓｉｎｇ ｏｆｆ—ｔｈｅ－ｓｈｅｌｆ ＴＶ ｃａｍｅｒａ ａｎｄ ｌｅｎｓｅｓ．ＩＥＥＥ 就双目立体视觉技术的发展现状而言，要构 Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ，１９８７，３（４）： ３２３—３４４ 造出类似于人眼的通用双目立体视觉系统，还有 柳作民，刘彦戎，沈言行，等．ＧＢ１２６７６—１９９９汽车 很长的路要走，进一步的研究方向可归纳如下：① 制动系统结构、性能和试验方法．北京：中国标准出 建立更有效的双目体视模型，更充分地反映立体 版社，１９９９ Ｂｉｎｏｃｕｌａｒ Ｓｔｅｒｅ０ｖｉｓｉ０ｎ—ｂａｓｅｄ Ｓｅｃｕｒｉｔｙ Ｖｅｈｉｃｌｅｓ Ｓｐａｃｉｎｇ Ｓｕｒｖｅｙ Ｔｅｃｈｎｏｌｏｇｙ ＷＡＮＧ Ｈｏｎｇ ＬＩＵ Ｓｏｎｇｈｅ ＬＩＵ Ｚｈｕｍｉｎｇ （Ｗｕｈａｎ Ｔｅｃｈｎｏｌｏｇｙ Ｕｎｉｖｅｒｓｉｔｙ，Ｗｕｈａｎ ４３００６３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｂａｓｅｄ ｏｎ ｔｈｅ ｐｒｉｎｃｉｐｌｅ ｏｆ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏｖｉｓｉｏｎ，ａ ｓｅｃｕｒｉｔｙ ｖｅｈｉｃｌｅｓ ｓｐａｃｉｎｇ ｓｕｒｖｅｙ ｍｅａｓｕｒｅｍｅｎｔ ｐｒｏｇｒａｍ ｗａｓ ｐｒｏｐｏｓｅｄ．Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｔａｒｇｅｔ ｖｅｈｉｃｌｅ ｉｎ ｔｈｅ ｃａｍｅｒａ ａｒｏｕｎｄ ａ ｂｉｎｏｃｕｌａｒ ｉｍａｇｅｓ ｏｂｔａｉｎｅｄ ｏｎ ｔｈｅ ｄｉｆｆｅｒｅｎｔ ｃｏｏｒｄｉｎａｔｅｓ．ｔｈｅ ｓｙｓｔｅｍ ｃａｌｃｕｌａｔｅｄ ｔｈｅ ｄｉｓｔａｎｃｅ ｂｅｔｗｅｅｎ ｔｈｅ ｔａｒｇｅｔ ｖｅｈｉｃｌｅ ａｎｄ ｔｈｅ ｃａｍｅｒａ．Ｔｈｅ ｔｅｓｔ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｍｅａｓｕｒｅｍｅｎｔ ｐｒｏｇｒａｍ ｉｓ ａｎ ｅｆｆｅｃｔｉｖｅ ｏｎｅ ｆｒｏｍ ｔｈｅ ｆｒｏｎｔ ｃａｒ ｉｎ ｔｈａｔ ｔｈｅ ｈｉｇｈ ｐｒｅｃｉｓｉｏｎ ａｎｄ ｔｈｅ ｗｉｄｅ ｍｅａｓｕｒｅｍｅｎｔ ｒａｎｇｅ ｏｆ ｔｈｅ ｐｒｏｇｒａｍ ｍｅｅｔ ｔｈｅ ｎｅｅｄｓ ｏｆ ｉｎｔｅｌｌｉｇｅｎｔ ｔｒａｎｓｐｏｒｔａｔｉｏｎ ｖｅｈｉｃｌｅｓ ｉｎ ａ ｓｅｃｕｒｉｔｙ ｖｅｈｉｃｌｅｓ ｓｐａｃｉｎｇ ｓｕｒｖｅｙ．Ｔｈｉｓ ｒｅｓｅａｒｃｈ ｍｅｔｈｏｄ ｉｓ ｅｑｕａｌｌｙ ａｐｐｌｉｃａｂｌｅ ｔｏ ｖｅｈｉｃｌｅｓ ｉｎ ｆｒｏｎｔ ｏｆ ｔｈｅ ｏｔｈｅｒ ｔａｒｇｅｔｓ ｏｆ ｄｉｓｔａｎｃｅ ｍｅａｓｕｒｅｍｅｎｔ． Ｋｅｙ ｗｏｒｄｓ：ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏｖｌｓｉｏｎ；ｖｅｈｉｃｌｅ ｄｉｓｔａｎｃｅ；ｂｉｎｏｃｕｌａｒ ｉｍａｇｅｓ
