发明名称 基于模式识别与目标跟踪的异常行人位置检测方法
摘要 一种视频图像处理技术领域的基于模式识别与目标跟踪的异常行人位置检测方法,利用形状特征进行模式识别,并对识别为异常的区域进行跟踪,在跟踪过程中得到异常行为的时间特性,在结合形状特性与时间特性的基础上进行分析,得出最终的异常行人位置检测结果。本发明可实现在具有多种运动物体、行人密集程度高的复杂场景中鲁棒地对特定异常事件进行检测。本发明不但可以判断出发生了何种异常行为,还可以在视频中标记处异常事件发生的位置,实现了异常事件检测的自动化。
申请公布号 CN102156983B 申请公布日期 2013.03.20
申请号 CN201110080004.1 申请日期 2011.03.31
申请人 上海交通大学 发明人 杨小康;徐奕;闫青
分类号 G06T7/00(2006.01)I;G06K9/62(2006.01)I 主分类号 G06T7/00(2006.01)I
代理机构 上海交达专利事务所 31201 代理人 王锡麟;王桂忠
主权项 1.一种基于模式识别与目标跟踪的异常行人位置检测方法,其特征在于,采用高斯混合模型对视频图像的场景进行背景建模,利用阈值化操作和形态学后处理提取视频图像的前景,利用轮廓特征和行人上半身高度先验模型确定行人出现区域;在行人区域采样,提取采样区域的HoG特征并利用模式识别分类器进行识别,得到异常行人区域的形状特性;在分类器识别为异常的区域开辟跟踪团块,采用改进的粒子滤波方法完成跟踪,在跟踪过程中持续利用模式识别分类器进行识别,得到异常行为的时间特性;在结束团块时,结合时间特性与形状特性做出异常行人检测的最终判断;所述的行人上半身高度先验模型通过以下方式得到:针对待分析的固定摄像头视频,手工标定出位于视频场景中各个位置的行人,得到一组行人上半身高度信息与头顶点信息,采用线性模型来描述行人上半身高度与行人出现位置的相互关系,并利用最小二乘法学习出线性模型的具体参数,得到行人上半身高度先验模型;所述的轮廓特征通过以下方式得到:对视频图像的前景进行轮廓分析得到轮廓峰值点,即轮廓特征;所述的采样是指:以每个行人出现区域中心点为中心,分别向上、下移动区域高度的1/8,再分别向左、右移动行人区域宽度的1/8,而后将区域按1.2倍扩大,再向上、下移动区域高度的1/8,再向左、右移动行人区域宽度的1/8,由此获得9个采样区域;所述的改进的粒子滤波方法包括以下步骤:a)建立系统状态空间和动态模型:状态空间定义为[x,y,w,h],分别代表跟踪团块的质心坐标x、y以及跟踪团块的宽度和高度w、h,其中:坐标的动态模型用二阶自回归过程来模拟:<maths num="0001"><![CDATA[<math><mrow><msub><mi>x</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow></msub><mo>=</mo><mn>2</mn><msub><mi>x</mi><mi>k</mi></msub><mo>-</mo><msub><mi>x</mi><mrow><mi>k</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>+</mo><mi>C</mi><mo>&CenterDot;</mo><mi>w</mi><mo>&CenterDot;</mo><msubsup><mi>g</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow><mn>1</mn></msubsup></mrow></math>]]></maths>,<maths num="0002"><![CDATA[<math><mrow><msub><mi>y</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow></msub><mo>=</mo><mn>2</mn><msub><mi>y</mi><mi>k</mi></msub><mo>-</mo><msub><mi>y</mi><mrow><mi>k</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>+</mo><mi>C</mi><mo>&CenterDot;</mo><mi>w</mi><mo>&CenterDot;</mo><msubsup><mi>g</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow><mn>2</mn></msubsup></mrow></math>]]></maths>,其中:<img file="FDA0000247201513.GIF" wi="91" he="78" />,<img file="FDA0000247201514.GIF" wi="91" he="78" />是k+1时刻两个独立的高斯随机变量,常数C取值为2.0,w,h的动态模型由s<sub>w</sub>,s<sub>h</sub>,即w,h的倍数控制:w<sub>k+1</sub>=(As<sub>w</sub>+Bs<sub>h</sub>)w<sub>k</sub>,h<sub>k+1</sub>=(As<sub>h</sub>+Bs<sub>w</sub>)h<sub>k</sub>,其中:s<sub>w</sub>,s<sub>h</sub>分别使用二阶自回归过程,即<maths num="0003"><![CDATA[<math><mrow><msub><mi>s</mi><mrow><mi>w</mi><mo>,</mo><mi>k</mi><mo>+</mo><mn>1</mn></mrow></msub><mo>=</mo><mn>2</mn><msub><mi>s</mi><mrow><mi>w</mi><mo>,</mo><mi>k</mi></mrow></msub><mo>-</mo><msub><mi>s</mi><mrow><mi>w</mi><mo>,</mo><mi>k</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>+</mo><msubsup><mi>g</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow><mn>3</mn></msubsup><mo>+</mo><msubsup><mi>g</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow><mn>4</mn></msubsup></mrow></math>]]></maths>,<maths num="0004"><![CDATA[<math><mrow><msub><mi>s</mi><mrow><mi>h</mi><mo>,</mo><mi>k</mi><mo>+</mo><mn>1</mn></mrow></msub><mo>=</mo><mn>2</mn><msub><mi>s</mi><mrow><mi>h</mi><mo>,</mo><mi>k</mi></mrow></msub><mo>-</mo><msub><mi>s</mi><mrow><mi>h</mi><mo>,</mo><mi>k</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>+</mo><msubsup><mi>g</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow><mn>3</mn></msubsup><mo>+</mo><msubsup><mi>g</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow><mn>5</mn></msubsup></mrow></math>]]></maths>,其中:随机项<img file="FDA0000247201517.GIF" wi="91" he="78" />表示宽度、高度的相同变化量,<img file="FDA0000247201518.GIF" wi="188" he="78" />是在相同变化量上的偏差, A、B为加权系数;b)观测模型与置信度的建立:采用图像的HSV,即H色度、S饱和度、V光强的色彩分量建立观测直方图,当S和V分别同时大于门限Th<sub>s</sub>和Th<sub>v</sub>时,像素被分配到由H和S量化的二维空间{N<sub>w</sub>×N<sub>h</sub>}中的一点:<maths num="0005"><![CDATA[<math><mrow><mi>bin</mi><mrow><mo>(</mo><mi>pix</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mi>S</mi><mrow><mo>(</mo><mi>pix</mi><mo>)</mo></mrow></mrow><mrow><mi>MAX</mi><mo>_</mo><mi>S</mi></mrow></mfrac><msub><mi>N</mi><mi>s</mi></msub><msub><mi>N</mi><mi>h</mi></msub><mo>+</mo><mfrac><mrow><mi>H</mi><mrow><mo>(</mo><mi>pix</mi><mo>)</mo></mrow></mrow><mrow><mi>MAX</mi><mo>_</mo><mi>H</mi></mrow></mfrac><msub><mi>N</mi><mi>h</mi></msub><mo>,</mo><mi>S</mi><mrow><mo>(</mo><mi>pix</mi><mo>)</mo></mrow><mo>&gt;</mo><msub><mi>Th</mi><mi>s</mi></msub><mo>,</mo><mi>V</mi><mrow><mo>(</mo><mi>pix</mi><mo>)</mo></mrow><mo>&gt;</mo><msub><mi>Th</mi><mi>v</mi></msub></mrow></math>]]></maths>,其中:bin(pix)是像素pix在直方图中的序号,H(pix)、S(pix)、V(pix)是像素pix的H、S、V分量,N<sub>s</sub>、N<sub>h</sub>为S、H分量上的量化数,MAX_S、MAX_H是S、H分量的最大值,门限Th<sub>s</sub>=0.1,Th<sub>v</sub>=0.2;当S的幅值小于门限Th<sub>s</sub>和或V幅值小于门限Th<sub>v</sub>时,模型抛弃一切颜色信息,根据光强把像素分配到{N<sub>w</sub>×N<sub>h</sub>}之外的N<sub>v</sub>个直方图项中:<maths num="0006"><![CDATA[<math><mrow><mi>bin</mi><mrow><mo>(</mo><mi>pix</mi><mo>)</mo></mrow><mo>=</mo><msub><mi>N</mi><mi>s</mi></msub><msub><mi>N</mi><mi>h</mi></msub><mo>+</mo><mfrac><mrow><mi>V</mi><mrow><mo>(</mo><mi>pix</mi><mo>)</mo></mrow></mrow><mrow><mi>MAX</mi><mo>_</mo><mi>V</mi></mrow></mfrac><msub><mi>N</mi><mi>v</mi></msub></mrow></math>]]></maths>最后得到的颜色直方图共有N<sub>s</sub>N<sub>h</sub>+N<sub>v</sub>个直方项:<img file="FDA00002472015111.GIF" wi="534" he="119" />,其中:R为样点x所在的矩形区域,q(x)是该区域的颜色直方图,u是直方图变量;用Bhattacharyya相似系数来衡量两个二维直方图间的距离:<img file="FDA00002472015112.GIF" wi="822" he="159" />,其中:q<sup>*</sup>是目标模板的直方图,是在开辟跟踪团块时统计团块区域颜色直方图获得的,q<sup>*</sup>(n),q(n;x)是直方图第n个直方项的值,q<sup>*</sup>(n),q(n;x)相似的置信度为:<img file="FDA00002472015113.GIF" wi="341" he="156" />;c)状态更新:由贝叶斯理论有<maths num="0007"><![CDATA[<math><mrow><mi>p</mi><mrow><mo>(</mo><msub><mi>x</mi><mi>k</mi></msub><mo>|</mo><msub><mi>z</mi><mrow><mn>1</mn><mo>:</mo><mi>k</mi></mrow></msub><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mi>p</mi><mrow><mo>(</mo><msub><mi>z</mi><mi>k</mi></msub><mo>|</mo><msub><mi>x</mi><mi>k</mi></msub><mo>)</mo></mrow><mi>p</mi><mrow><mo>(</mo><msub><mi>x</mi><mi>k</mi></msub><mo>|</mo><msub><mi>z</mi><mrow><mn>1</mn><mo>:</mo><mi>k</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>)</mo></mrow></mrow><mrow><mi>p</mi><mrow><mo>(</mo><msub><mi>z</mi><mi>k</mi></msub><mo>|</mo><msub><mi>z</mi><mrow><mn>1</mn><mo>:</mo><mi>k</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>)</mo></mrow></mrow></mfrac></mrow></math>]]></maths>,其中:<maths num="0008"><![CDATA[<math><mrow><mi>q</mi><mrow><mo>(</mo><msub><mi>x</mi><mi>k</mi></msub><mo>|</mo><msub><mi>z</mi><mrow><mn>1</mn><mo>:</mo><mi>k</mi></mrow></msub><mo>)</mo></mrow><mo>=</mo><mi>p</mi><mrow><mo>(</mo><msub><mi>x</mi><mi>k</mi></msub><mo>|</mo><msubsup><mi>x</mi><mrow><mi>k</mi><mo>-</mo><mn>1</mn></mrow><mi>i</mi></msubsup><mo>,</mo><msub><mi>z</mi><mi>k</mi></msub><mo>)</mo></mrow><mo>=</mo><mi>p</mi><mrow><mo>(</mo><msub><mi>x</mi><mi>k</mi></msub><mo>|</mo><msubsup><mi>x</mi><mrow><mi>k</mi><mo>-</mo><mn>1</mn></mrow><mi>i</mi></msubsup><mo>)</mo></mrow></mrow></math>]]></maths>,其中:权重更新方程为:<img file="FDA00002472015116.GIF" wi="388" he="78" />,其中:x<sub>k</sub>为k时刻粒子状态值,z<sub>k</sub>为k时刻粒子观测值,概率分布q(x)为重要性密度函数;d)样本重采样:在粒子数匮乏时按权重排序并筛选,并通过密集采样恢复样本代表性,其中:重采样点的位置是在离散概率分布为<img file="FDA00002472015117.GIF" wi="575" he="144" />上随机抽样产生的,其中:Ns为样点个数;所述的形状特性是指:利用模式识别分类器对采样区域的HoG特征进行判断后的识别结果;所述的时间特性是指:在跟踪过程中,持续提取团块区域的HoG特征利用模式识别分类器识别得到的结果。
地址 200240 上海市闵行区东川路800号