您好,欢迎来到飒榕旅游知识分享网。
搜索
您的当前位置:首页基于视觉目标跟踪的PTZ控制方法

基于视觉目标跟踪的PTZ控制方法

来源:飒榕旅游知识分享网
● Computer Technology and Its Applications 基于视觉目标跟踪的PTZ控制方法 潘振福,许静,刘成,朱永利 (华北电力大学计算机系,河北保定071003) 摘要:针对目前基于主动视觉的 rZ摄像机控制跟踪性能差,无法连续、实时跟踪动态目标,且跟踪目标的准确 度低下等缺陷,提.出了一种基于核相关视觉目标跟踪算法的云台摄像机控制方法。首先设计了云台摄像机系统的 整体架构。视觉目标跟踪采用核相关目标跟踪方法,时效性很高,跟踪精确度也位列于目标跟踪领域的高等水平。 根据跟踪结果信息,通过PELCO—D协议控制PTz摄像机,始终保持目标在视频画面内。并用C++实现了KCF算法 控制PTZ摄像机上位机,实验验证了该种PTZ控制方法的准确性、适用性及稳定性。 关键词:目标跟踪;云台控制;相关滤波器 中图分类号:TP391 文献标识码:A DOI:10.16157/i.issn.0258—7998.2017.01.038 中文引用格式:潘振福,许静,刘成,等.基于视觉目标跟踪的PTZ控制方法【J].电子技术应用,2017,43(1):145—147. 英文引用格式:Pan Zhenfu,Xu Jing,Liu Cheng,et a1.The method of controlling z camera based on visual object tracking[J】 Application of Electronic Technique,2017,43(1):145—147. The method of controlling PTZ camera based on visual object tracking Pan Zhenfu,Xu Jing,Liu Cheng,Zhu Yongli (Department of Computer Science,North China Electirc Power University,Baoding 071003,China) Abstract:For that currently the PI camera control based Oil active tracking iS performing poor,not able to tack dynamic object continuously and real-timely,and low accuracy of tracking,a method of controlling PTZ camera based on kernelized correlation ob— ject tracking is proposed.Firstly,the overall architecture of PTZ camera system is designed.The KCF tracker used is efifcient.And it S tracking accuracy is also ranked in higher level in the field of target tracking.Secondly,to make sure keeping the target in video images,PTZ camera is controlled through the PELC0D protocol with the information of tracking results.The PC system of ——controlling PTZ camera is implemented by using Improved KCF algorithm with C++.The accuracy.applicability and stability of this kind of PTZ control method are veriifed by the experiments. Key words:object tracking;PTZ camera;correlation filter 0引言 PTZfPan/Tih/Zoom)摄像头是将CCD摄像机、变焦变 倍镜头、全景云台等部件集成在一个单元中构成的摄像 机系统。传统的PTZ摄像机监控系统通过人工操控键盘 或者摇杆对监控目标进行跟踪,如果目标较远,通过手 标跟踪技术,这些跟踪算法相对落后,其性能容易受众 多因素影响,包括光照变化、遮挡和背景混杂等。在视觉 目标追踪(The Visual Objeet Tracking,VOT)2014年挑战 结果14]中显示,基于分类相关滤波器的跟踪器是目前最 优秀的目标跟踪算法之一,提供了先进的跟踪性能。 HENRIQUES J F等使用了梯度方向直方图(HOG)特征, 提出了核相关滤波器(Kernelized Correlation Filter,KCF)及 双相关滤波器(Double Correlation Filter,DCF1跟踪器_51, 动控制镜头变焦,这种人工操控的方式跟踪误差太大, 造成系统摄像不稳定、不连续。近年来,基于主动视觉的 PTZ摄像机系统逐渐发展,陈双叶等人提出基于 Camshii算法和卡尔曼滤波器目标跟踪算法的PTZ摄像 f机控制方法 ],简单地采用颜色直方图作为跟踪匹配特 征,容易受到光照变化、运动模糊遮挡等因素影响而 造成跟踪失败。WANG S等人提出的高斯混合模型目标 运算速度能达到300 b/s以上。 本文采用KCF目标跟踪方法作为控制算法核心对 运动目标进行跟踪,并采用粒子滤波框架对目标进行运 动状态预测,根据跟踪结果使用PID算法对PTZ摄像机 进行协调控制。 检测定位方式的PTZ控制方法仅仅解决了镜头对焦问 题[21。而DONG E等人除了应用高斯混合模型目标检测 1 PTZ摄像机系统架构 本文中的PTZ摄像机系统由云台摄像机、视频采集 卡以及运行PTZ控制系统的上位机组成,如图1所示。 】45 之外,还融合了Kalman滤波器与Camshil算法对目标进 f行跟踪,从而控制PTZ摄像机 ,相比近年来先进的目 《电子技术应用》2017年第43卷第1期 Computer Technology and Its Applications l X2 X1 n n n一1 ■ Z △ 、, 、 ,X=C )= 一 n一1 Xn一2 (6) : ● 原始图像 、 r 摄 像 控制蒺 ■_ X2 X3 XI 头 互至 目标跟踪结果 矩阵 完全由指定的样本向量X(这里的第一行)循 环移位生成。无论生成向量X为何值,所有循环矩阵都 图1 PTz摄像机系统架构 能被离散傅里叶变换(DFr)矩阵对角化llo】。也就是: X=Fdiag( ̄c)F“ 其中,F是一个与X无关常量矩阵, 由视频采集卡从摄像头采集回来的图像传人算法 中进行跟踪运算,通过RS232转RS485串口遵循PEL— (7) 是F的共轭转 CO—D协议控制PTZ摄像机转动,保持跟踪目标在视频 图像中。PELCO—D协议定义了水平旋转、上下旋转、变 焦变倍等功能。 2目标跟踪方法 在KCF跟踪算法中,以核岭回归分类器作为核心, 用循环移位方法致使样本变换,建立循环矩阵来训练该 分类器,然后把目标与周围背景区分开来,从而达到对 目标快速有效检测跟踪的目的。对样本进行巧妙地变换 使训练数据矩阵具有循环特性,就可以通过离散傅里叶 变换对角化,便能减少几个数量级的存储与计算,这就 是文献【5]提出的核岭回归相关滤波器(Kernelized Corre— lation Filter,KCF),具有其他核算法没有的线性复杂度。 2.1岭回归分类器 针对线性岭回归判别函数f(z)=’.,rlz,训练的目的是 利用样本X 找到一个权值w。对回归目标yi最小平方误 差: ∑ 一 ) +AI1wll z i 其中A是正则化参数,控制过度拟合。根据文献[6]得到 最优解: w:f +AI1 Y (2) 其中, 是样本矩阵,y是回归目标矩阵,J是单位矩阵。 文献[7l在岭回归方法中引入核函数,即f(Z)=wT6(z)。设从 样本空间到Hilbert特征空间的非线性变换为 一 (X ), 定义核函数为,c ,X ):< ),咖( )>。则优化问题的最 优解可以表示为: min∑(< , ( )> )。+AI1wll (3) i 其中, 为样本,yl是期望输出;A为一个固定的正则化 参数。根据文献[8】,其最优解为样本的线性组合W为: W:∑ (置) (41 由式(4)可知,需要优化的变量是O/,而并不是W。 核岭回归问题的解由文献【9]给出: =(K+AJ)一 (5) 2.2循环矩阵 对样本X进行移位变换,可以获得循环矩阵 ,即 146 欢迎网上投稿WWW.ChinaAET.con 置,而王表示生成向量 的离散傅里叶变换, =, )。下 文中都用 来表示一个向量的傅里叶变换。常量矩阵F 称DFT矩阵,用来计算DFT,如F(z)=x/n 。式(7)表示 了广义循环矩阵的特征分解。特征向量F有交换性和自 闭性。 2.3核相关分类器训练 只要满足文献[5】提出的定理1的核函数的核矩阵 K具有循环结构,所以: K=Fdiag(k)F“ (8) 因为对角矩阵之间的运算是对应元素的相应运算, 且FHF=I,所以式(5)可以表示为: ^ ^ te=(Fdiag(k)F“+AFF“)一 =F(diag( )+A)一 f"y 1 =Fdiag(÷)F (9) +A 两边同时乘置换矩阵F,得: 1 Ftr=diag( ) (10) +A 因为Fx为X的傅里叶变换,所以: &:—卫一 fll、 k+A HENRIQUES J F等人提出的KCF算法中 由包含 目标的训练样本自相关训练而来,其中的k是内核矩阵 =C( )的第一行元素傅里叶变换。 2.4目标快速检测 为了检测出感兴趣物体,通常用回归函数f(z)去评 估目标在多个图像中位置信息,从而估计出目标位置。 把包含目标图像且比目标尺寸大的图像块作为搜索窗 口,对此搜索窗口进行循环移位,形成不同的候选图像 块,然后建模成循环结构的循环矩阵。 假设核矩阵 由匹配模板和搜索窗口样本核相关 所得。因为匹配模板 和检测样本Z是基于元素向量X 和Z移位变换的循环结构矩阵,相应的, 的每个元素 是由,((p 1z, 一 )组成,根据文献[5】的定理1可以验证 这个矩阵是一个循环核矩阵。与上一节相似,只需第一 行元素来表示核矩阵: 《电子技术应用》2017年第43卷第1期 计算ili几技术与应用 Computer Technology and Its Applications =C( ) (12) 其转动,图中右下角为摄像头跟踪的图像 结果显示,其 能始终保持跟踪目标在图像中。 其中七 是前面定义的x与z的核相关运算。可以把回 lJ1函数表示为: ,(z)= i 4结论 (13) 针对目前现有的主动视觉的PTZ摄像头控制系统 的跟踪性能较差、导致跟踪丢失等问题,提出了一种基 K(x ,z):( ) 注意到-厂(z 是一个矩阵元素z向量的所有移位变换 形式的输出响应,为了更有效地计等式(13),得到对角化 后的等式: f(z)=kXz・& (14) 于核相关视觉目标跟踪器的PTZ摄像机控制方法,并 在QT平台上应用OPENCV库实现了 棒性。 参考文献 【1】陈双叶,王善喜.PTZ摄像机跟踪运动目标的智能控制算 法的研究【J】.计算机科学,2015(S2):135—139. 【2]WANG S,TIAN Y,XU Y.Automatic control of PTZ camera 系统的C++版。实验结果验证了本系统的稳定性与鲁 _ 摄像机控制 其中,・为矩阵点乘运算,z是预测包含目标的搜索窗口 图像块,从中检测目标的位置,x为从以前帧中学习获 得的目标模型。对等式(14)进行DFT逆运算,就得出检 测样本z的响应矩阵,响应最大的位置即为目标所在的 化置。更新模型五和王为: ,=(1一 )&f_l+.,7五 ,=based on object detection and scene partition【C】.IEEE International Conference Off Signal Processing,Communica— tions and Computing.IEEE,2015. (15) (16) (1一卵)王卜l+77j [3 J DONG E,YAN S,TONG J,et a1.Design and implementation of a moving object tracking system[C】.IEEE International Confefence on Meehatronies and Automation.IEEE.20 1 5. 其中:卵为学习因子; 、五 分别表示当前帧和上一帧 更新获得的系数向量傅里叶变换 ; 、王 分别表示当前 帧和_卜一帧更新获得的目标匹配模型的傅里叶变换 。 【4 J KRISTAN M,PFLUGFELDER R,LEONARDIS A,et a1.The visual object tracking VOT2014 challenge results[C】.Lecture Notes in Computer Science.2014:191—217. 3实验分析 在QT5平台上完成 Z摄像头系统上位机端的 C++实现,运用了OPENCV库。 3.1跟踪质量评估 【51 HENRIQUES J F,CASEIRO R,MARTINS P,et a1.ttigh— speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis&Machine Intelligence. 在实验室环境下,运行结果如图2所示,运动目标 2014,37f3):1—1. 被完全遮挡的情况下,跟踪算法仍然很稳定。 【6】RIFKIN R,YEO G.POGGIO T.Regularized least-squares classification[J].Nato Science Series Sub Series llI Computer and Systems Sciences,2003,190(1):93—104. 【71 MULLER K R,MIKA S,TSUDA K.An introduction to kernel-based learning algorithms[J】.IEEE Transactions Off Neural Networks,200l,12(2):18l一2o1. 【8】SCHOLKOPF B,SMOLA A.Learning with kernels:Support (a)未遮挡 (b)遮挡1 (c)遮挡2 (d)遮挡物经过 vector machines,regularization,optimization,and beyond【M】. MIT Press.2002. 图2目标物被遮挡跟踪情况 3.2 PTZ控制质量实验 f 位机通过RS232转RS485转串口与P1 摄像头 卡¨连.遵循PELCO—D协议控制。控制结果如图3所示。 【皋】中中间位PTZ摄像头贴有白色的标识,以便明显看到 【9】RIFKIN R,YEO G,POGGIO T.Regularized least-squares classiifcation[J].Acta Electroniea Sinica,2003,l90(1):93一 l04. 【10]GRAY R M.Toeplitz and cireulant matirces:a review【M】. Now Publishers,2006. (收稿日期:2016—04—07) 作者简介: 潘振福(1989一),男,硕士研究生,主要研究方向:视觉 目标跟踪、人工智能。 许静(1990-),女,硕士研究生,主要研究方向:人工智 能、机器学习。 (a)摄像头旋动场景1 (b)摄像头旋动场景2 刘成(1990一),男,硕士研究生,主要研究方向:机器学 习。 图3 P1 摄像头跟踪旋转结果 《电子技术应用》2017年第43卷第1期 147 

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- sarr.cn 版权所有

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务