利用h_264中运动矢量实现运动目标检测 (2) 4页

2010年2月北京航空航天大学学报February
2010
第36卷第2期JournalofBeijingUniversityofAeronauticsandAstronauticsVo.l36
No
2利用H.264中运动矢量实现运动目标检测丁文锐杨
桦

(北京航空航天大学无人驾驶飞行器设计研究所,北京100191)(北京航空航天大学电子信息工程学院,北京100191)刘春辉姜
哲

(北京航空航天大学无人驾驶飞行器设计研究所,北京100191)(北京航空航天大学电子信息工程学院,北京100191)

摘


要:针对视频压缩和运动目标跟踪同时实现的应用,通过研究H.264压缩标准中运动矢量包含的图像运动信息并分析运动估计原理,提出了一种利用视频压缩中的运动矢量信息实现运动目标检测的方法,确立了H.264编码流中运动矢量与场景中物体运动状态的对应关系.将运动目标从背景中分离是检测算法的核心.对于双门限值的设置,可分离不同运动速度的目标;同时,算法排除了背景运动的干扰,因而可应用于摄像机运动的场合;由于检测算法所用的运动矢量直接来源于H.264编码过程,而大大降低了计算复杂度,利于硬件实现.关
键
词:图像压缩;视频信号处理;运动目标识别;目标跟踪中图分类号:TN911.21文献标识码:A



文章编号:1001-5965(2010)02-0202-04MovingobjectdetectingtechniquebasedonmotionvectorinH.264codingDingWenrui(ResearchInstituteofUnmannedAerialVehicle,BeijingUniversityofAeronauticsandAstronautics,Beijing100191,China)YangHua(SchoolofElectronicsandInformationEngineering,BeijingUniversityofAeronauticsandAstronautics,Beijing100191,China)LiuChunhui(ResearchInstituteofUnmannedAerialVehicle,BeijingUniversityofAeronauticsandAstronautics,Beijing100191,China)JiangZhe(SchoolofElectronicsandInformationEngineering,BeijingUniversityofAeronauticsandAstronautics,Beijing100191,China)Abstrac:tConsideringtheapplicationsofjointrealizationofvideocompressionandmovingobjecttrack-ing,bystudyingthemovinginformationincludedinthemotionvectoroftheH.264videocodinginternationalstandardandanalyzingmotionestimationprinciple,amotionvectorbasedonmovingobjectdetectingtech-niquewasproposed,andtherelationshipbetweenthemotionvectorandthemovingobjectwassetup.Thekeypartofdetectingalgorithmistodividemovingobjectfrombackground.Bysettingtwothreshesproperly,thedetectedobjectscouldbechangedaccordingtotheirmovingvelocity.Asthedisturbanceofbackgroundmovingeliminatedbythealgorithm,itcanbeusedinsomecaseswhenthecameraismoving.Formotionvec-torscomefromH.264codingprogressdirectly,thecalculationcomplexityisreduced,soitiseasytorealizebyhardware.Keywords:imagecompression;videosignalprocessing;movingobjectrecognition;tracking
收稿日期:2009-01-14
基金项目:航空基金资助项目(2008ZC51029)
作者简介:丁文锐(1971-),女,辽宁鞍山人,高级工程师,ding@buaa.edu.cn.\n
第2期









丁文锐等:利用H.264中运动矢量实现运动目标检测2032

视频监控或跟踪系统可分为传感器、前端处dx(x,y,t1,t2)=a1+a2x+a3y+a7x+a8xy2理、场景分析、摄像机控制、信息匹配与提取、压缩dy(x,y,t1,t2)=a4+a5x+a6y+a7xy+a8y与传输控制、显示及存储7大功能模块.在目标侦(2)察和监控领域,传输视频之前实现运动目标检测

对于两帧间摄像头旋转等情况,二阶参数模[1]与视频压缩是系统的核心功能.型的8个系数能够很好地表征平面变化.而对于通常运动目标检测是各种后续处理的基础,两帧间图像微变的情况,将二阶方程降为一阶,仍如跟踪、目标分类等.目前应用的算法主要有帧间[5-8]能很好地估算像素区域位移.事实上H.264差法、背景差法和光流场法等.帧间差法适用于静帧间编码的运动估计正是基于这一原理.H.264态背景场合,摄像机运动时难以实现目标检测;背采用了7种分块模式,将图像分割为最小至4
4景差法实现简单但易受光照和前景运动影响;光的像素块.考虑到硬件实现,H.264使用绝对值差流场法计算复杂,硬件实现难度很大.另一方面,匹配准则,如公式(3)所示:H.264视频编码标准采用了许多先进技术以提升MN压缩效能,其中运动估计部分包含了大量运动信MAD(i,j)=

|fk(m,n)-m=1n=1[2-4]息可以为目标检测所利用.fk-1(m+i,n+j)-
|(3)本文提出了一种利用H.264编码过程中计其中,fk(m,n)和fk-1(m+i,n+j)分别为k和k-算出的运动矢量实现运动目标检测的方法.该方1帧内(m,n)位置像素点的亮度值;(i,j)为偏移法基于运动估计原理,通过分析H.264标准中的量;M和N为块的水平和垂直像素数;
为残差块运动矢量信息,建立了H.264编码流中运动矢量的绝对值.与场景中物体运动状态的对应关系,实现了运动当式(3)中左边取值最小时,表示两个子块目标与背景的分离.文章重点从3方面介绍了技匹配,此时的(i,j)被认为是该块的位移值也即运[9-11]术原理与应用效能.首先介绍运动估计原理,说明动矢量.H.264运动矢量与运动目标的相关性,提出基于H.264帧间编码过程中计算所得的运动矢量运动矢量统计的阈值比较值计算方法;然后提出实际上反应了场景中各部分相对于摄像机的运动了双阈值设计,说明了利用双阈值分割,在不同运状态.对于远距离或可平面化的场景环境,运动矢动速度目标间进行速度估算及跟踪切换的实现机量包含了各像素块相对于背景的运动与摄像机相理;最后结合试验结果说明算法在摄像头运动场对于背景的运动两部分运动信息,而场景中的运景中的效果与应用前景.动目标有不同于背景的运动规律,如果能检测出构成运动目标的各个像素块,就能实现运动目标1
运动信息的检测.公式(4)引入运动矢量统计信息,实现了运动目标像素块与背景像素块的分离:对视频图像而言,运动信息包含在帧与帧之2M(n)=(d(n)-dm)(4)间的像素变化中.由于摄像头运动、目标运动、光其中,n为第n个像素块;d(n)为该像素块运动矢源变化等因素,帧间像素会发生相应的位置变化.量;dm为帧内所有像素块运动矢量平均值.dm引在许多连续非跳变的场景中,两帧间的相关性非入了运动矢量的统计信息,它包含了背景相对于常强,对应像素间的位移很小.摄像机的运动信息,通过与各像素块做矢量差,实运动信息可以通过运动估计来获得.用d(x,现了像素块由相对摄像头运动到相对背景运动的y,t1,t2)来描述视频帧I(x,y,t1)与I(x,y,t2)间转化,排除了摄像头的运动干扰.利用二阶公式在某一对应像素区域的位移,根据公式(1)可将将阈值一维化的同时,提高了对速度变化的敏感^I(x,y,t1,t2)视为由I(x,y,t1)变形后得到的I(x,度,为阈值分割检测创造了条件.以CIF格式图像y,t2)的近似.为例,图1为M(n)取值曲面,其中公式(4)中的^I(x,y,t1,t2)=I((x,y)-d(x,y,t1,t2),t1)dm=0,x与y输入为运动矢量d(n)两分量,均取(1)正值.5

在不考虑景深影响的情况下二阶参数建模适由图1可知,M(n)的最大可能取值在2
10用于摄像机旋转、平移等场景状态.对应像素区域以上,方便了阈值的设置,保证了在多阈值分割时运动状态的二阶方程建模如公式(2)所示:的准确性.\n204北京航空航天大学学报













2010年
估算出门限值,再由观察效果进行必要的调整.满足T2>M(n)>T1条件的像素块作为检测出的运动目标的组成块被记录下来,利用循环完成对所有运动矢量的检测,也就获得了运动目标所在的图像块范围.最后根据图像块的相邻关系进行边界融合即可得到运动目标的大致轮廓.图3是为验证算法所制作的CIF视频序列中的连续两帧图像,亮度阈值为T1=25,T2=10000.图1
M(n)取值曲面比较图2
运动速度估计与双阈值目标切换在景深可忽略的场景中,知道了拍摄高度,可视角以及运动目标的运动矢量,就可估算目标运a
第i帧








b
第i+1帧动速度.估算原理如公式(5)所示:白色小人与灰色小球为运动目标W=2D
tan(
/2)图3
连续两帧视频图像中的运动目标检测S(n)=M(n)
(W/SW)(5)由于两帧为连续帧,第i+1帧运动矢量的计V(n)=S(n)
F算将以第i帧为参考,图4给出了i+1帧的M(n)其中,F为摄像机帧速;
为可视角;D为镜头与目曲面.标距离;W为实际背景宽度;SW为当前图像的水平分辨率;S(n)和V(n)为当前目标估算位移和估算速度.由公式(5)可知,M(n)近似正比于目标实际速度.确定了系统的各项参数后,即可由M(n)估计物体的速度.基于上述速度估算及公式(4)提供的较高的运动矢量变化敏感度和充足的可选阈值范围,可利用双门限值设计来分别检测具有不同运动速度图4
第i+1帧的M(n)曲面的目标.双门限检测算法流程如图2所示.由图4可知,灰色小球的运动效果强于白色小人.据此设T1=25,T2=2000,以及T1=4000,T2=6000进行两组检测,结果如图5所示.a
T=25,T=2000


b
T=4000,T=60001212图5
第i+1帧在不同阈值下的检测结果由图5可看出,通过改变双阈值的范围,算法可实现对不同运动速度目标的检测切换.图2
双门限检测算法流程图3
摄像机运动状态下的算法效能公式(4)对运动矢量的处理使得像素块的运由于M(n)是像素块运动速度平方的估计值,实际应用中,可根据所需观察目标的运动速度动效果由相对于摄像机转化为相对于地面,排除\n
第2期









丁文锐等:利用H.264中运动矢量实现运动目标检测205了背景整体运动的干扰,这对无人机侦察等摄像省计算量并提高检测准确性,获得更精确的目标机运动状态下的运动目标检测非常有帮助.为评轮廓等相关信息.估摄像机运动时的算法效能,制作了空中侦察视频序列,并在序列中合成了团块目标.由视频序列4
结
论参数转化的无人机侦察参数如表1所示.本文从视频图像中包含的运动信息入手,分表1
无人机侦察参数析了运动估计原理及图像各部分的运动状态与飞行速度/视场高度/帧速率/参数视野范围H.264编码流中运动矢量的对应关系.提出了利方向(m
s-1)角/(
)m(帧
s-1)用H.264编码中运动矢量实现目标检测的方法.数值S-N75210m
170m5400025检测算法的双阈值设计能够根据物体运动速度实

事实上无人机侦察时的巡航速度一般在现目标间的检测切换.试验证明算法能够有效地150~180km/h,这里有意强化了背景运动效果来对抗背景运动对目标检测的影响.同时,由于有效测试算法对抗摄像机运动的能力.图6是算法的利用了H.264编码产生的运动矢量数据,节省了实际检测效果.目标检测部分的计算量,有利于硬件一体化实现.参考文献(References)[1]RakeshK,HarpreetS,SupunS,eta.lAerialvideosurveillanceandexploitation[J].ProceedingsoftheIEEE,2001,10(89):1518-1520黑色水平线为背景运动基线;矩形框为检测区域.[2]LiptonAJ,FujiyoshiH,PatilRS.Movingtargetclassification图6
摄像机运动中的运动目标检测andtrackingfromrea-ltimevideo[C]//ProceedingofFourthIEEEWorkshoponApplicationsofComputerVision.PiscatawayNJ:IEEE,1998:8-14图6中显示了3帧连续图像的运动目标检测[3]NordlundP,UhlinT.Closingtheloop:pursuingamovingobject效果,可以看出背景相对于摄像机自上而下运动.byamovingobserver[J].ImageandVisionComputing,1996,14画面中部为算法检测出的团块目标.可以看到,算(4):265-275法很好地对抗画面运动的干扰,在高速运动的画[4]OkadaR,OakiJ,KondohN,eta.lHigh-speedobjecttrackinginordinarysurroundingsbasedontemporallyevaluatedopticalflow面中检测出相对低速的运动目标.第2帧左侧顶[C]//Proceedingsofthe2003IEEE/RSJIntlConferenceonIn-部出现了误检,这是由于画面向下运动时后续图telligentRobotsandSystems.LasVegasNevada:IEEE,2003:像的上部属于新增画面,H.264算法计算出的运242-247动矢量会较凌乱,出现了与运动目标处于同一区[5]MarchandE,BouthemyP,ChaumetteF.A2D-3Dmode-lbasedapproachtorea-ltimevisualtracking[J].ImageandVisionCom-间分布的像素区域.通过引入手动辅助跟踪和匹puting,2001,19(13):941-955配算法可以很好地解决这一问题.[6]AdivG.Determiningthree-dimensionalmotionandstructurefrom点击画面可以设定有效检测区域,后续检测opticalflowgeneratedbyseveralmovingobjects[J].IEEETrans自动对有效区域位置进行修正,这样就实现了对PatternAnalMachIntel,l1985,7(4):384-401[7]FaugerasO.Three-dimensionalcomputervision:ageometric目标的持续跟踪.图7给出了手动选定追踪区域viewpointcambridge[M].MA:MITPress,1993后的运动目标持续跟踪效果.[8]BergenJR,AnandanP,HannaK,eta.lHierarchicalmode-lbasedmotionestimation[C]//ProceedingsoftheSecondEuro-peanConferenceonComputerVision.London:IEEE,1992:237-252[9]毕厚杰.新一代视频压缩编码标准:H.264/AVC[M].北京:人民邮电出版社,2005BiHoujie.Anewgenerationofvideocompressioncodingstand-白色矩形为有效检测区域ard:H.264/AVC[M].Beijing:Posts&TelecomPress,2005(in图7
运动目标的持续跟踪效果Chinese)[10]ISOMPEG-4Part10,H.264/MPEG-4AVC[S]图7中可看出,运动目标的持续追踪排除了[11]ShiPengju,SunGuangmin,LiYan.TheDSPimplementationof画面边界处出现的新增像素块干扰.有效检测区movingobjectdetectingandtrackingbasedonMPEG-4[C]//IEEEIndustrialElectronics.Piscataway,NJ:IEEE,2006:域的确定大幅度缩小了侦察范围,在该区域内应3279-3283用模板匹配、直方图分割等目标检测算法,能够节(编
辑:袁正中)