复杂背景下基于形态学的车牌识别系统

公　路　交　通　科　技

JOURNALOFHIGHWAYANDTRANSPORTATIONRESEARCHANDDEVELOPMENT

2004年10月

文章编号:1002Ο0268(2004)10Ο0117Ο04

复杂背景下基于形态学的车牌识别系统

白洪亮,娄正良,邹明福,刘昌平

(中国科学院自动化研究所文字识别工程中心,北京　100080)

摘要:车牌识别(LPR)是智能交通系统中的一个重要研究课题。本文提出了一个在高速公路复杂背景下,基于形态学的车牌定位和识别系统,它包括图像垂直边缘检测,边缘密度图生成,图像二值化和膨胀,连通域分析,车牌定位,基于先验知识的车牌字符分割和车牌字符识别。在实验中,使用高速公路上采集的9825幅图像数据库来做测试,车牌定位率为9811%,车牌识别率为12%。所以说,本系统具有很好的应用前景。关键词:车牌定位;形态学;连通域分析;字符分割;字符识别中图分类号:TP39114　　　　　　文献标识码:A

MorphologyΟbasedLicenseΟplateRecognitionSystemfromComplexScenes

BAIHongΟliang,LOUZhengΟliang,ZHOUMingΟfu,LIUChangΟping

(CharacterRecognitionCenter,InstituteofAutomation,ChineseAcademyofSciences,Beijing　100080,China)

Abstract:ThelicenseΟplaterecognition(LPR)isanimportantissueandhasmoreandmoresignificantroleintheintelligenttrafficsys2tem1ThepaperpresentsaMorphologyΟbasedlicenseΟplaterecognitionsystemfromthecomplexscenesofthehighwaystation1Thesystemincludesfollowingsections:verticaledgedetection,edgedensitymapgeneration,binarizationanddilation,connectedcomponentanalysis,licenseΟplatelocation,hypothesisΟbasedcharactersegmentationandcharacterrecognition1Intheexperiment,afterthedata2baseof9825imagesfromtherealsceneofexpresswayofShenzhenistested,theaccuracyoflocatingthelicenseΟplatesis9811%andtheaccuracyoftherecognitionis12%1Sothesystemwillhaveagoodprospect1

Keywords:LicenseΟplatelocation;Morphology;Connectedcomponentanalysis;Charactersegmentation;Characterrecognition

0　引言

在最近的几十年里,高速公路事业得到了飞速发展,通过人工方法来进行收费渐渐的开始不适应这种发展速度,智能交通系统(ITS)为解决当前紧迫的交通问题提供了关键技术。其中利用计算机图像处理技术来进行自动车牌识别(LPR)是ITS中的最关键技术,它已经广泛的用于高速公路,避免了少数收费员私吞,驾驶员冲岗逃票,关系户非法逃票的发生,大大提高了高速公路的办事效率。

在通常情况下,车牌自动识别系统主要由三部分组成:车牌定位,车牌字符切分,车牌字符识别。在其中,车牌定位是整个车牌识别系统中的一个关键组

收稿日期:2003Ο08Ο05

成部分。对于汽车车牌的研究非常广泛,它主要分为

两个方面,分别为汽车牌照区域定位技术和字符的分

[9,10]

割和识别技术。在国内,廖金周等用线性滤波器,水平方向和垂直方向投影来确定车牌的位置,但是该方法受光照和噪声的影响很大,叶晨洲等人采用纹理信息和多分类器进行集成的方法来进行车牌的定位和识别,但是车牌的纹理信息好多不太明显,受环

[1～7][1]

境的影响较大。在国外,使用数学形态学,边

[2,4][3]

缘提取,梯度特征合成,基于神经网络的颜色

[5][6]

分层,矢量量化等方法用于车牌定位和识别,例如J1R1Parker等使用5×5的中值滤波器进行预处理,ShenΟCastan边缘算子得到边缘,然后利用遗传算法提取车牌,但是遗传算法收敛速度很慢,MeiYu等人利用模板匹配的方法对车牌文本识别,但是适应性不

作者简介:白洪亮(1977-),男,辽宁沈阳人,博士,主要研究方向为智能交通、图像处理1(baihl@hanwang1com1cn)

公路交通科技　2004年　第10期

太好。

中科院自动化所文字识别工程中心从1998年以来一直从事车牌识别的研究工作,并且已经开始成功地把研究成果应用到高速公路的收费系统中去。作者在本文提出了一个高速公路收费站车牌定位和识别系统。在第二部分提出了车牌识别系统的框架,在第三和第四部分,分别是基于形态学的车牌定位,基于先验知识的字符分割与多分类器集成的字符识别,最后给出了实验结果和将来的努力研究方向。1　系统总括

用了线性滤波来光滑图像和光强正则化方法来减少光

照的影响。

　gH(i,j)=|[f(i-1,j-1)+2f(i-1,j)+　　　f(i-1,j+1)]-[f(i+1,j-1)+　　　　2f(i+1,j)+f(i+1,j+1)]|　gV(i,j)=|[f(i-1,j-1)+2f(i,j-1)+

(1)

　　　f(i+1,j-1)]-[f(i-1,j+1)+

(2)　　　2f(i,j+1)+f(i+1,j+1)]|

这里,f(x,y)表示在经过光滑和光强正则化后的灰度图像;gH(i,j),gV(i,j)分别表示(x,y)点的水平边缘图和垂直边缘图。在本论文中,提出了一个高速公路收费站车牌识别系统,图1列出了整个系统的框图,本系统主要包括三个部分,分别是车牌定位,车牌字符分割,车牌

TM字符识别。在汉王眼采集高速公路上的汽车图像之后,图像首先进入车牌定位模块,找到图像上的若干个车牌候选区域,然后进入到字符分割模块,这部分有两个作用,第一是切分字符,第二是车牌精确定位,此模块会根据车牌的特点得到最后的车牌区域。最后把分割结果送入到识别模块,得到最后的识别结果。

图2　

212　边缘密度图的生成

一般来说,车牌区域具有显著的边缘特性,所以提出边缘密度概念。边缘密度是指在某一个区域内,其边缘像素点的平均密度,计算方法是某一点的边缘密度用其周围的平均边缘点的个数表示,公式如等式3所示,在这里取的区域块的大小为,在图3(a)显示了图2(b)的边缘密度图。

1d(i,j)=g(i+x,j+y)

45x=-1y=-7V

x=1

y=7

∑∑

(3)

图1　车牌识别系统框图

2　车牌的定位211　垂直边缘检测

边缘检测的方法很多,一些常见的方法包括Kir2sh、Laplacian、Robert、CannyandSusan算法。对于车

牌图像,除了我们感兴趣的车牌区域,还包括汽车背

景噪声信息,如汽车前挡板,保护杠,汽车车体的边缘轮廓等等,这些包含着大量的水平边缘,这些背景边缘对车牌的准确定位有很大的影响。图2(a)显示了应用等式1得到的水平边缘,(b)图显示了应用等式2得到的垂直边缘。从图2可以看出,垂直边缘在抑制噪声方面优于水平边缘,在垂直边缘之前,使

118

图3　

在这里d(x,y)代表(x,y)点的边缘密度。213　二值化和膨胀

Otsu是一个常用的二值化方法,由于其鲁棒性和

快速性而被广泛的应用和研究。边缘图进行二值化处理,结果如图3(b)所示。

在进行膨胀之前,使用非线性滤波来去除图像中

复杂背景下基于形态学的车牌识别系统　白洪亮等

的大量的细水平线,方法是:对于每一个目标像素

点,找到其上边缘点和下边缘点,如果上下边缘点之间的距离小于某一个给定的阈值,那么上下边缘点之间的目标象素就会被全部去掉,变为背景像素,处理后的图形如图3(c)所示。

然后,进行形态学的膨胀操作。在这里使用的是水平模板(Mask),尺寸大小是1×9。这一个步骤可以使从车牌部分分离的区域重新合并到车牌上,对下一步准确定位有至关重要的作用,处理后的结果如图3(d)所示。214　车牌定位

最后一部分是进行车牌定位,它包括4个部分。

(1)连通域分析(CCA)

在这里对膨胀后的图像进行连通域分析,得到目标的外接矩形,和在矩形内目标象素点的个数。

(2)特征提取

利用CCA得到的信息,可以得到一些区域特征,比如长宽比(R),矩形面积(A)和区域密度(D)。假如对于一个任意的矩形区域,W代表矩形宽度,H代表矩形高度,N代表矩形内的目标象素点数,就有如下的关系式

(4)R=WΠH

(5)A=W×H

(6)D=NΠ(W×H)在使用这些特征之后,定义相应的阈值,图像中

大部分的候选矩形都被去掉,一般来说,可以得到1～5个候选区域。

(3)候选区域合并

候选区域的合并原则是:如果两个矩形的宽度相差不多,水平距离相差不大。定义连接密度,如等式(7)所示。

D=

overlapV=

min(h1,h2)

disHw1×w2

图4　车牌定位结果

3　车牌字符的分割与识别311　车牌字符分割及其难点

字符分割的方法,现在已有很多研究成果。涉及到中文、英文字符,印刷体、手写体等多个方面。从

某种意义上来讲,我们研究的是高速公路上的车牌识别是印刷体字符分割,传统上印刷体一般采取垂直投影法,字符间距估计,字符大小和轮廓分析,分割与识别相结合等方法,其技术已相当成熟。本节重点讨论车牌汉字数字混合的分割问题。

相比一般的扫描印刷体字符分割,车牌字符的分割有一定的难度。主要有以下几个原因:

(1)车牌字符背景非常复杂,存在较大的干扰、噪声,这是由于光照不均匀及摄像机等设备噪声引起的。

(2)图像采集时车牌的尺寸很小,并且变化比较大,很多情况下,字符会与车牌的边界粘连,字符与车牌上的铆钉粘连,导致直接利用字符投影及字符间距等信息不能取得理想的效果。312　基于先验知识的车牌字符分割通过摄像机采集到的灰度图像粗略的可以分为白底黑字和黑底白字两大类,图5中列出了不同格式的车牌,包括大型汽车(c),小型汽车(a),军车(b),警车(d),车(f),可以看出它们有一个共同的特点:连续的5个字,称作特征字段,可以利用特征字段来判断那种格式的车牌。其方法很直观,简单,易于实现。主要过程如下:

(1)对候选矩形区域倾斜校正;

(2)判断车牌候选区域的字符的颜色;(3)沿水平方向判断特征字段;

(4)在确定特征字段之后,向左侧搜索,会遇到3种情况:第1种,如果发现有一个字,那么从特征字段向右搜索,如果还有字的话,就是(d)型车牌;第2

(7)

在这里,overlapV表示任意两矩形在垂直方向的重合长度,disH代表两矩形水平方向的距离,h1,h2,w1,w2分别表示两矩形的宽度和高度。如果连接密度大于某一个给定的阈值,那么这两个矩形就被合并。

(4)最后的候选区域确定

由于在第(2)步采用比较宽松的约束条件,在这里则采用更加严格的约束。然后就可以得到最后的候选矩形区域,通常情况下,最后的候选矩形小于3个。在图4中给出了最后的定位结果,前面两幅为完整车牌图像的定位结果,后两幅为残缺的车牌图像的定位结果。

119

公路交通科技　2004年　第10期

种,如果发现左侧有字符,分析它是左右结构(a),还是上下结构(b);第3种,如果左侧没有字符,那么搜索特征字段的上侧,如果有字符,那么就是(c);第4种,如果右侧多于2个字符,那么就是(f)。

在图5中列出了最后的分割结果。从图上可以看出,基于先验的分割方法具有很好的分割性能,而且,具有很强的联想能力,可以对(e)图进行正确分割。

时间大约为100ms。

从实验结果上来看,本文提出的方法可靠,有很好的应用前景,但是车牌字符的正确分割是本文的难点,字符正确切分,是值得继续研究的问题。

参考文献:

[1]　JunΟWeiHsieh,ShihΟHaoYu,YungΟShengChen1MorphologyΟbased

LicensePlateDetectionfromComplexScenes[C]116thInternationalConferenceOnPatternRecognition,2002:176-1791

[2]　MeiYu,YoungDeakKim1AnApproachtoKoreanLicensePlateRecog2

nitionBasedonVerticalEdgeMatching[C]1IEEEInt1Conf1SMC,2000(4):2975-29801

[3]　SunghoonKim,DaechulKim,YounbokRyu,GyeonghwanKim1ARo2

bustLicenseΟPlateExtractionMethodunderComplexImageConditions[C]116thInternationalConferenceOnPatternRecognition,2002:176-1791

[4]　JRParker,PavolFederl1AnApproachToLicensePlateRecognition,

ComputerScienceTechnicalReport[R]119961

[5]　EunRyungLee,PyeoungKeekim,HangJoonKim1AutomaticRecog2

nitionofaCarLicensePlateUsingColorImageProcessing[C]1Pr2oceedingofInternationalConferenceonImageProcessing,1994:301-3051

[6]　StefanoRovetta,RodolfoZunino1LicenseΟplateLocalizationbyUsing

VectorQuantization[C]1InternationalConferenceonAcoustics,SpeechandSignalProcessing,19991

[7]　NOtsu1AThresholdSelectionMethodFromGrayLevelHistograms[J]1

IEEETransactionsonSystems,Man,andCybernetics,1979(9):62-661

[8]　HongliangBai,JunminZhu,ChangpingLiu1AFastLicensePlateEx2

tractionMethodonComplexBackground[C]1IEEEInternationalCon2ferenceonIntelligentTransportationSystem,20031

[9]　廖金周,宣国荣1车辆识别的自动分割[J]1微型电脑应用,

1999(7):32-341

[10]　叶晨洲,廖金周1一种基于纹理的牌照图像二值化方法[J]1

[8]

图5　车牌字符分割结果示意图

313　多分类器集成用于车牌识别

对于车牌识别,一个有45个汉字,26个字母,

10个数字,属于小规模的模式识别问题。对图像的每一个切分矩形区域,提取512维的方向线素特征,400维加权方向码直方图特征,320维笔画方向特征,

通过PCA绛维,利用基于决策模板的多分类器集成的方法,得出最后的识别结果。4　试验结果

该系统对实际高速公路收费站得到的9825幅图像测试,其中的不同条件下(黑天,白天)图像包括完整、残缺、遮挡等不同的车牌图像。车牌定位准确率为9811%,车牌字符完全分割正确率为9211%,车牌字符完全识别正确率为12%。对于768×576的彩色图像,117MHz主频的PC机,平均的处理事件(上接第91页)

微电脑应用,1999(6):28-29,191

[5]　XiaolingWang,HairongQi1AcousticTargetClassificationUsingDistrib2

utedSensorArrays[J]1IEEETrans1SignalProcessing,2001Ο08:49-1

[6]　周超雄,交通量声频检测的研究[D]1西安:长安大学硕士学

信号的信源个数分析也是一个研究方向。

参考文献:

[1]　张贤达,保铮1通信信号处理[M]1国防工业出版社,20001[2]　PrabhakarSNaidu1SensorArraySignalProcessing[R]1CRCPress

LLC,20011

[3]　TPham,BSadler1WidebandAcousticArrayProcessingtoDetectand

TrackGroundVehicles11stAnnualARLSensorsandElectronDevicesSymposium[J]1CollegePark,MD,1997Ο011

[4]　MWax,TKailath1DetectionofSignalsbyInformationTheoreticCrite2

ria[J]1IEEETransAcoustSpeech,SignalProcessing,ASSPΟ33,1985Ο041

位论文,20021

[7]　张群飞,黄建国,保铮1用子空间旋转不变法同时估计水下多

目标的距离和方位[J]1声学学报,19991

[8]　俞悟周,王佐明1轿车风噪声及其测量[J]1声学技术,20001[9]　吴小培,冯焕清,等1基于分量的混合声音信号分离[J]1

中国科学技术大学学报,20011

[10]　张淑敏,乔维高,金先龙1汽车噪声的模拟及其应用[J]1

汽车技术,19971

[11]　季茂荣,温蓉,王伟策1机动目标的噪声识别和定位系统的研

究[J]1应用声学,2001,16(1)1

120