一种基于背景提取的视频对象分割算法

ImageProcessingandMultimediaTechnology

一种基于背景提取的视频对象分割算法

焦蓬蓬，郭依正

(南京师范大学泰州学院信息科学与技术系，江苏泰州225300)

摘

要：提出了一种基于背景提取的视频对象分割算法，其主要是通过对多帧视频序列的比

较，提取出视频帧的背景，以后的视频帧序列减去该背景，就得到了运动对象。实验结果表明，该算法可以很好地应用在视频会议等背景变化不大的场合，效果较好且运算量不大。

关键词：MPEG-4；视频对象；视频分割；对称差分法

中图分类号：TP391.41

文献标识码：A

文章编号：1674-7720(2010)19-0035-02

Avideoobjectsegmentationalgorithmbasedonbackgroundextraction

JIAOPengPeng，GUOYiZheng

(DepartmentofInformationScienceandTechnology，NanjingNormalUniversityTaizhouCollege，Taizhou225300，China)Abstract：Thispaperpresentsavideoobjectsegmentationalgorithmbasedonbackgroundextraction.Itsmainideaistocomparethesequencesofimagesfirstly，thentoextractthebackgroundofthevideosequences.Finally，wecangetthevideoobjectfromthefollowingvideosequencesminusthebackground.Theexperimentalresultsshowthat，thismethodcanbeusedinoccasionssuchasvideoconference，whichthebackgroundislittlechange.Usingthismethodcanacquireabetterperformancewithlesscalculation.

Keywords：MPEG-4；videoobject；videosegmentation；symmetricalDFD

随着网络和多媒体技术的发展，通信数据量越来越大，特别是在视频会议、视频电话等图像通信中，其通信数据量大得惊人。而目前通信网络的带宽有限，不能很好地支持高质量的图像通信业务。为了解决这些问题，国际电信联盟先后提出了MPEG-2、MPEG-4标准。

对象分割算法有很多，如检测变化区域的分割方法[2]，其主要是通过检测序列图像帧的变化区域与不变区域，从而分割出运动物体与静止背景。该算法的关键是阈值的选取，分割后的图像中没有变化的部分表示背景图像，变化的部分代表运动区域。这类算法的优点是计算简单，特别适用于室内场景(如视频电话、网络会议等)。其缺点是对噪声敏感，在背景场景变化复杂的室外情况下，分割的效果不好。基于对称差分的视频分割算法[3]是将数学的“与或”操作运用在图像分割中，通过连续帧的差减、“与或”运算，可以提取出中间视频帧的图像运动对象。近年来，自适应阈值的方法[4]也广泛运用在运动目标的提取上，它结合了形态学中的开启和闭合方法来对图像进行处理。此外还有基于时空信息的视频对象分割算法[5]。综上所述，视频对象分割算法还处于发展之中，一种优秀的分割算法不仅要与图像分割相结合，而且还需要人工智能和运动分析等方面知识。

MPEG-4的初衷是针对于视频会议、视频电话的超低比

特率编码，但在以后的发展中，MPEG对该标准又进行了修改。MPEG-4标准引入了视频对象VO(VideoObject)的概念，编码是基于对象(Object)的[1]。所谓对象是指一个场景中可以操作和控制的实体，而传统压缩方法是基于帧的，已无法对对象进行操作。MPEG-4中对比特率控制可以是基于对象的，即使在带宽有限的情况下，可以利用码率分配方法，对于用户感兴趣的对象可以多分配一些比特率，而对于用户不感兴趣的对象可以少分配一些比特率，这样图像质量可以得到保证。所以在

MPEG-4标准中，视频对象分割算法显得十分重要。

视频对象分割算法与图像分割技术联系紧密，图像分割算法被广泛地应用在视频对象分割中。目前的视频

1视频分割算法

MPEG-4算法中对象的提取是关键技术之一，提取

《微型机与应用》2010年第29卷第19期欢迎网上投稿www.pcachina.com

35

图形、图像与多媒体

ImageProcessingandMultimediaTechnology

的效果直接关系到图像压缩的效率。对称差分方法[3]简单有效，但这类算法也存在一些不足。首先，由于是连续的操作，视频图像的背景部分和运动部分都要进行差减运算，而实际上背景是静止不变的，只会受到噪声的一些小影响。所以在用该算法时，背景的运算是没有必要的，特别是在硬件实现上，浪费了大量CPU时间。其次，图像的播放是30帧/s，如果在每秒都用对称差分算法，显然很不实际。所以一般采用的方法是每隔△t后，采样一帧图像，再用该算法进行提取视频对象。此外，每秒的视频序列很多，而视频运动对象的运动范围相对固定，所以可以认为视频对象只在一定的范围内变化，提取视频对象时，只要提取视频图像中该范围内的视频对象信息即可。

根据视频对象运动的特点和MPEG-4对视频对象的要求，以及对对称差分分割算法的理解分析，本文提出了一种基于背景提取的视频对象分割算法。这种分割算法适合应用在室内环境或者是视频会议等背景变化不大、视频对象的运动范围变化也不大的情况下。该算法思想是：首先通过对多帧视频序列的比较，提取出背景图像信息，同时得到视频对象的运动区域。对于以后的视频序列，只要提取运动区域内的相关图像信息即可，避免了以后视频序列间的运算，节约了时间，减少了运算量。该算法的主要步骤如下：

(1)初始化图像的参考对象，如第一帧图像。(2)求两帧图像之间的差，并选取一定的阈值，将图

像二值化。由于视频对象的运动，所以运动区域的像素点值相对于背景区域的像素点值变化较大，很容易找出视频对象。同时也可以根据Surendra原理，将背景图像更新。背景更新的算法根据公式(1)来计算。通过多帧视频序列的迭!代，得到的背景效果会更好，然后再二值化。

BBi(x，y)，Di(x，y)=1

i(x，y)=

αBi(x，y)+(1-α)Bi-1(x，y)，Di(x，y)=0

(1)

式中，Di(x，y)=1为视频对象区域，Di(x，y)=0为背景区域，Bi为第i帧图像，α为比例系数。

(3)对二值图像分别从x轴、y轴进行自左向右、自

上而下扫描，记录下Di(x，y)=1的点数和Di(x，y)=0的点数，并设置一个阈值，记录下超过该阈值的行列值。

(4)对这些相邻的行列值分别求差，并选取各个方向

最大的两个值作为视频对象运动区域的上下左右4个点。因为视频对象边缘的像素点变化最大，通过求差分的方式可以表现出来。

(5)对于以后的视频序列，可以只读取该区域的图像

信息作为视频对象。其中，这个矩形区域可以适当调整。步骤(4)得到的矩形是视频对象运动最剧烈的部分，经调整可以将视频对象提取得更完整一些。

2仿真结果与分析

实验环境：Dell公司的PC机，CPU为IntelPentium4，

36

主频1.5GHz，内存512MB，操作系统Windows2000。程序在Matlab7.0下，采用foreman视频序列来完成测试。

foreman视频序列如图1所示，提取foreman序列时采用1帧/s的速率进行提取。从图中可以看到，人物的运动

基本是在一个相对固定的区域。提取时首先提取视频图像的背景，后面的视频序列只要读取背景以外的部分就可以了。

图2是提取的视频图像的背景，图3是从第7帧、第17帧和第22帧中提取的视频对象。程序运行时从第

7帧、第17帧和第22帧中采用任意两帧用来提取视频

对象，运行结果为“Elapsedtimeis3.561000seconds”，即总共运行了3.561s，少于其他算法的运行时间。

由实验结果可以看到，该算法较准确地分割出了视频对象，且在计算上比其他算法要简单得多。但该算法分割出的对象区域是视频对象运动最大的区域，导致在加矩形框时，可能存在过分割的现象，即将多余的图像信息也包含了进去。因此，对于该算法中的矩形框的大小确定问题仍然需要深入研究。

本文考虑到实时性和计算量等因素，在一种对称差

(下转第42页)

《微型机与应用》2010年第29卷第19期

网络与通信NetworkandCommunication

相关应用中使用。参考文献

[1]周永凯，张建春.服装舒适性与评价(第一版)[M].北京:

北京工艺美术出版社，2006.

[2]郭世富，马树元，吴平东，等.基于Zigbee技术的无线传

感器网络在远程家庭监护系统中的应用研究[J].电子技术应用，2006，32(6)：28-30.

[3]董大鹏，唐晓英，刘伟峰，等.无线传感器网络技术在医

疗监护中的应用[J].电子技术应用，2008，34(10)：29-

31.

0.0005mA×10451.65ms=5.2258mA·ms一个采样周期T内总电流消耗：

472.1mA·ms+5.2258mA·ms)/(3600000ms/h)=1.326×10-4mAh/10s

每小时消耗电流：1.326×10-4×360=0.04774mA

假设使用60mAh的纽扣电池，则可以使用时间为：60mAh/0.04774mA=1256h≈52天

本文采用nesC语言设计了基于TinyOS的中心节点和传感器节点程序，实现了使用CSMA/CA协议的星型

无线传感器网络，并以温湿度数据采集为例，设计了采用温湿度数字传感器SHT10的传感器节点。当采样周期为10s、使用60mAh电池供电时，传感器节点可持续工作52天。本设计能够满足无线、便携、低功耗地采集人体生理参数的需要。使用模块化编程语言nesC，提高了开发效率，便于扩展。本文介绍的研究和设计方法可在(上接第36页)

分方法的基础上，从视频序列的背景入手，先找出视频序列的背景信息，对以后的各帧图像只要读取背景以外的信息，就可以方便地提取出视频对象。实验仿真表明，这种方法可以快速提取出视频对象。但是，该算法只适合于视频会议、视频电话等背景区域变化不大的场合。如何实现在室外环境和背景不断转换的情况下的视频对象的有效分割需要继续深入研究。参考文献

[1]钱渊，张晓燕，夏靖波.视频对象分割技术综述[J].探测

与控制学报，2008，30(2):-67.

[4]HALITE著.无线传感器及元器件:网络、设计与应用

(第一版)[M].纪晓东，赵北雁，彭木根，译.北京:机械工

业出版社，2008.

[5]TI.CC2430EMReferenceDesign(Rev.C)[DB/OL].http://focus.

ti.com/docs/toolsw/folders/print/cc2430dk.html.2010.

[6]SELVIGB.MeasuringpowerconsumptionwithCC2430&

Z-StackapplicationnoteAN053TIlit[DB/OL].http://focus.ti.com/general/docs/litabsmultiplefilelist.tsp?literatureNumber=swra144.2010.

(收稿日期：2010-04-06)

作者简介：

马小铁，男，1968年生，副教授，硕士生导师，主要研究方向：嵌入式系统、计算机应用。

李凯，男，19年生，教授，硕士生导师，主要研究方向：电子技术，数字信号处理。

[3]贺贵明，李凌娟，贾振堂.一种快速的基于对称差分的

视频分割算法[J].小型微型计算机系统，2003，24(6):

966-968.

[4]姚军，蒋晓瑜，黄应清.一种基于自适应阈值与边缘跟

踪的目标提取方法[J].装甲兵工程学院学报，2004(4):

56-57.

[5]张晓波，刘文耀，吕大伟.基于时空信息的自动视频对

象分割算法[J].光电子·激光，2008，19(3):384-387.

(收稿日期：2010-03-09)

作者简介：

焦蓬蓬，女，1981年生，硕士，讲师，主要研究方向：数字信号处理，通信新技术。

郭依正，男，1984年生，硕士，讲师，主要研究方向：图形图像处理，模式识别。

[2]印勇，张影.基于变化检测的视频对象分割算法研究[J].

计算机工程与设计，2008，44(13):161-163.

(上接第38页)

Free

Encyclopedia.http://en.wikipedia.org/w/index.php?title=Color_balance&oldid=336334367.2010.

[3]JONATHANS.Colorbalancingtechniques[J].DigitalLight

&Color，2007(1):1-19.

[4]WANGYG，GAONY.Colorbalanceincolorimage[J].

ComputerandInformationTechnology，2009(1):101-102.[5]HSIENCL.Introductiontocolorimagingscience[J].Cam-

bridgeUniversityPress，2005(1):450.

(收稿日期：2010-06-02)

作者简介：

王朝辉，男，1967年生，博士，教授，主要研究方向：计算机先进过程控制理论与应用等。

尚华，女，1986年生，硕士研究生，主要研究方向：图像处理。

42

《微型机与应用》2010年第29卷第19期