发明名称 一种基于FAST的人群异常行为识别方法
摘要 本发明属于属于计算机视觉领域,公开了一种基于FAST的人群异常行为识别方法,包括:将视频流图像转换为图片数据;对图像进行增强预处理;建立混合高斯背景模型;进行FAST角点检测;计算角点协方差矩阵,根据矩阵行列式的值I得到人群面积变化曲线S;将每一个I值及曲线S上与该I值对应的斜率值构成的特征向量输入支持向量机中,进行人群行为分析和模型训练得到人群行为预测值P;根据P值得到人群行为结果,并对人群的异常行为进行分类识别。本发明针对传统方法的不足,将人群角点特征作为一个整体的特征来研究不同人群情况,通过协方差矩阵的计算,建立人群行为模型,得到不同人群的行为情况。可用于安防监控、资源管理等领域。
申请公布号 CN103488993B 申请公布日期 2016.09.07
申请号 CN201310437367.5 申请日期 2013.09.22
申请人 北京联合大学 发明人 鲍泓;刘宏哲;徐成;张璐璐;赵文仙
分类号 G06K9/54(2006.01)I;G06K9/62(2006.01)I 主分类号 G06K9/54(2006.01)I
代理机构 北京思海天达知识产权代理有限公司 11203 代理人 张慧
主权项 一种基于FAST的人群异常行为识别方法,其特征在于包括以下步骤:步骤一,将监控的视频流图像数据转换为图片数据;步骤二,对图像进行增强预处理;对图像进行直方图均衡化,借助直方图变换实现灰度映射,从而达到图像增强的目的;对离散数字图像{z},灰度为i的像素的出现概率为:<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><msub><mi>p</mi><mi>x</mi></msub><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>=</mo><mfrac><msub><mi>n</mi><mi>i</mi></msub><mi>n</mi></mfrac></mrow>]]></math><img file="FDA0000993499360000011.GIF" wi="204" he="110" /></maths>式中,n<sub>i</sub>表示灰度i出现的次数,0≤i≤L,L是图像中所有的灰度数,n是图像中所有的像素数,p<sub>x</sub>(i)为灰度为i的像素的归一化直方图;步骤三,建立混合高斯背景模型,方法如下:(1)建立背景像素序列应用多高斯模型法对每个像素用K个高斯模型进行建模;步骤二处理后视频帧序列为:<img file="FDA0000993499360000012.GIF" wi="830" he="77" />式中,<img file="FDA0000993499360000013.GIF" wi="124" he="72" />为每一个单态高斯模型;X<sub>t</sub>帧中每个像素点的概率为:<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><mi>P</mi><mrow><mo>(</mo><msub><mi>X</mi><mi>t</mi></msub><mo>)</mo></mrow><mo>=</mo><munderover><mo>&Sigma;</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>K</mi></munderover><msub><mi>&omega;</mi><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>&CenterDot;</mo><msub><mi>G</mi><mi>i</mi></msub><mrow><mo>(</mo><msub><mi>X</mi><mi>t</mi></msub><mo>,</mo><msub><mover><mi>&mu;</mi><mo>&RightArrow;</mo></mover><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>,</mo><msub><mi>U</mi><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000993499360000014.GIF" wi="618" he="127" /></maths>式中,K是所采用混合多高斯模型的具体个数,K值越大,处理像素值波动的能力越强,但处理效率也相应降低,因此,K一般取3~5;ω<sub>i,t</sub>是第i个高斯模型在t时刻的权重,<img file="FDA0000993499360000015.GIF" wi="61" he="78" />和U<sub>i,t</sub>为第i个高斯模型在t时刻的均值和方差,G是高斯分布概率密度函数,其表达式为:<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><msub><mi>G</mi><mi>i</mi></msub><mrow><mo>(</mo><msub><mi>X</mi><mi>t</mi></msub><mo>,</mo><msub><mover><mi>&mu;</mi><mo>&RightArrow;</mo></mover><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>,</mo><msub><mi>U</mi><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>)</mo></mrow><mo>=</mo><mfrac><mn>1</mn><mrow><msqrt><mrow><mn>2</mn><mi>&pi;</mi></mrow></msqrt><msup><mrow><mo>|</mo><msub><mi>U</mi><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>|</mo></mrow><mfrac><mn>1</mn><mn>2</mn></mfrac></msup></mrow></mfrac><msup><mi>e</mi><mrow><mo>-</mo><mfrac><mn>1</mn><mn>2</mn></mfrac><msup><mrow><mo>(</mo><msub><mi>X</mi><mi>i</mi></msub><mo>-</mo><msub><mover><mi>&mu;</mi><mo>&RightArrow;</mo></mover><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>)</mo></mrow><mi>T</mi></msup><msup><msub><mi>U</mi><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub><mrow><mo>-</mo><mn>1</mn></mrow></msup><mrow><mo>(</mo><msub><mi>X</mi><mi>i</mi></msub><mo>-</mo><msub><mover><mi>&mu;</mi><mo>&RightArrow;</mo></mover><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>)</mo></mrow></mrow></msup></mrow>]]></math><img file="FDA0000993499360000016.GIF" wi="941" he="174" /></maths>(2)修正背景图像模型参数更新模型初始化任务完成后,在时刻t对视频帧X<sub>t</sub>的每个像素点的值与它对应的混合高斯模型进行匹配检测:1)如果像素值与混合高斯模型中第i个高斯分布均值<img file="FDA0000993499360000017.GIF" wi="59" he="77" />的差值的绝对值小于其标准差的2.5倍,则定义该高斯分布与像素值匹配,采用标准差的2.5倍这个阈值可有效地降低周期性的光线变化所带来的影响;2)如果该像素至少与混合高斯模型中的一个高斯分布匹配,混合高斯模型的参数更新规则为:对于不匹配的高斯分布,它们的均值<img file="FDA0000993499360000018.GIF" wi="62" he="76" />和协方差矩阵T<sub>i,t</sub>保持不变;匹配的高斯分布的均值<img file="FDA0000993499360000021.GIF" wi="59" he="75" />和协方差矩阵T<sub>i</sub>,<sub>t</sub>的表达式为:<maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><msub><mover><mi>&mu;</mi><mo>&RightArrow;</mo></mover><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>=</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mi>&rho;</mi><mo>)</mo></mrow><msub><mover><mi>&mu;</mi><mo>&RightArrow;</mo></mover><mrow><mi>i</mi><mo>,</mo><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>+</mo><msub><mi>&rho;X</mi><mi>t</mi></msub></mrow>]]></math><img file="FDA0000993499360000022.GIF" wi="468" he="78" /></maths><maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><msub><mi>T</mi><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>=</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mi>&rho;</mi><mo>)</mo></mrow><msub><mi>T</mi><mrow><mi>i</mi><mo>,</mo><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>+</mo><mi>d</mi><mi>i</mi><mi>a</mi><mi>g</mi><mo>&lsqb;</mo><mi>&rho;</mi><msup><mrow><mo>(</mo><msub><mi>X</mi><mi>t</mi></msub><mo>-</mo><msub><mover><mi>&mu;</mi><mo>&RightArrow;</mo></mover><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>)</mo></mrow><mi>T</mi></msup><mrow><mo>(</mo><msub><mi>X</mi><mi>t</mi></msub><mo>-</mo><msub><mover><mi>&mu;</mi><mo>&RightArrow;</mo></mover><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>)</mo></mrow><mo>&rsqb;</mo></mrow>]]></math><img file="FDA0000993499360000023.GIF" wi="965" he="102" /></maths>式中,<img file="FDA0000993499360000024.GIF" wi="493" he="102" />a为参数估计的学习速率,通常取值0.002;3)如果该像素与混合高斯模型中任何一个高斯分布都不匹配,将最不可能代表背景过程的高斯分布重新赋值:将当前像素点的值作为这个高斯分布的均值,同时为这个高斯分布取一个较大的方差和较小的权值;然后,将K个高斯分布按下式更新在时刻t的权值:ω<sub>i,t</sub>=(1‑α)ω<sub>i,t‑1</sub>+α(M<sub>i,t</sub>)式中,M<sub>i,t</sub>为单模态模型参数,如果某个高斯分布与t时刻的像素值匹配,那么M<sub>i,t</sub>取1;否则M<sub>i,t</sub>取0;步骤四,进行FAST角点检测,方法如下:(1)将图像与步骤三混合高斯建模背景相减得到人群前景图,经二值化转换和形态学滤波得到掩模模板;掩模模板的坐标和FAST特征角点的坐标做交集运算得到运动目标FAST特征角点坐标集;(2)在每一帧人群图像中,以任意一个像素点P为中心选择圆形区域,该圆形区域为一个半径等于3的离散化的Bresenham圆,最外围的像素点按顺时针方向依次编号为1~16;分别判断这16个像索点是否满足下面的条件:N=|I(x)‑I(p)|>ε<sub>d</sub>    (1)式中,I(x)表示圆周上任意一点的图像灰度值,I(p)表示中心像素点的图像灰度值,ε<sub>d</sub>为给定的一个极小阈值;ε<sub>d</sub>的取值范围为0&lt;ε<sub>d</sub>&lt;100,选取不同的阈值ε<sub>d</sub>能够控制提出的角点数目;如果有连续m个以上的像素点满足公式(1),就能够确定该像素点为角点;通常m取12;m取不同的值能够控制提出的角点数目;步骤五,计算角点协方差矩阵,根据矩阵行列式的值得到人群面积变化曲线;假设目标角点坐标集为D,D为一个每行由一个角点的横、纵坐标组成的矩阵,设角点的坐标为(x,y),则协方差矩阵定义为:<maths num="0006" id="cmaths0006"><math><![CDATA[<mrow><mi>&Sigma;</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mfenced open = "[" close = "]"><mtable><mtr><mtd><mrow><msub><mi>S</mi><mrow><mi>x</mi><mi>x</mi></mrow></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow></mtd><mtd><mrow><msub><mi>S</mi><mrow><mi>x</mi><mi>y</mi></mrow></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>S</mi><mrow><mi>x</mi><mi>y</mi></mrow></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow></mtd><mtd><mrow><msub><mi>S</mi><mrow><mi>y</mi><mi>y</mi></mrow></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow></mtd></mtr></mtable></mfenced></mrow>]]></math><img file="FDA0000993499360000025.GIF" wi="592" he="165" /></maths>其中,S<sub>xx</sub>为所有角点横坐标x的方差,S<sub>yy</sub>为所有角点纵坐标y的方差,S<sub>xy</sub>为角点集坐标(x,y)的协方差;协方差矩阵对应行列式的值为:I=|S<sub>xx</sub>(x,y)×S<sub>yy</sub>(x,y)‑S<sub>xy</sub>(x,y)<sup>2</sup>|行列式I的值表征了场景中角点的面积;以帧序列为横坐标、行列式值I为纵坐标画曲线,通过均值滤波消除一些突变和干扰,得到人群面积变化曲线S;步骤六,将步骤五中的每一个I值及曲线S上与该I值相对应的斜率值构成的特征向量T输入支持向量机中,进行人群行为分析训练和人群行为模型训练,得到人群行为预测值:P=(T,D)式中,D为摄像机与人群的距离,P为人群行为预测值,P的取值范围为‑100~100;步骤七,根据步骤六的P值得到人群行为结果P<sub>behaviour</sub>,根据P<sub>behaviour</sub>对人群的异常行为进行分类识别。
地址 100101 北京市朝阳区北四环东路97号