发明名称 基于运动重构技术的交通场景异常检测方法
摘要 本发明涉及一种基于运动重构技术的交通场景异常检测方法,针对复杂运动模式和变化背景,本发明通过更加合理的运动信息描述方法,并利用运动模式的空间位置信息,探索了不同运动模式间的空间结构信息,进而解决了现有的异常检测方法对该特定场景的不适用性。
申请公布号 CN105335703A 申请公布日期 2016.02.17
申请号 CN201510670786.2 申请日期 2015.10.13
申请人 西北工业大学 发明人 袁媛;王琦;王栋
分类号 G06K9/00(2006.01)I 主分类号 G06K9/00(2006.01)I
代理机构 西北工业大学专利中心 61204 代理人 王鲜凯
主权项 一种基于运动重构技术的交通场景异常检测方法,其特征在于步骤如下:步骤1:计算前50帧视频中各个像素点的运动方向和运动幅度:<maths num="0001" id="cmaths0001"><math><![CDATA[<mfenced open = "" close = ""><mtable><mtr><mtd><mrow><msub><mi>m</mi><mi>o</mi></msub><mo>=</mo><mi>a</mi><mi>r</mi><mi>c</mi><mi>t</mi><mi>a</mi><mi>n</mi><mrow><mo>(</mo><mi>&Delta;</mi><mi>y</mi><mo>/</mo><mi>&Delta;</mi><mi>x</mi><mo>)</mo></mrow></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>m</mi><mi>m</mi></msub><mo>=</mo><msqrt><mrow><msup><mi>&Delta;x</mi><mn>2</mn></msup><mo>+</mo><msup><mi>&Delta;y</mi><mn>2</mn></msup></mrow></msqrt></mrow></mtd></mtr></mtable></mfenced>]]></math><img file="FDA0000824022220000011.GIF" wi="409" he="198" /></maths>其中,(Δx,Δy)为像素的光流信息;将运动方向按照对应像素的位置排列成运动方向场M<sub>o</sub>,将运动幅度按照对应像素的位置排列成运动幅度场M<sub>m</sub>;使用SLIC超像素分割方法对这两个运动场进行分割,并计算每个分割区域运动方向y<sub>o</sub>或运动幅度y<sub>m</sub>,将分割区域的中心位置z<sub>o</sub>或z<sub>m</sub>记为空间位置坐标;步骤2:将所有分割区域的运动方向y<sub>o</sub>的集合矩阵Y<sub>0</sub>输入到下式进行优化:<maths num="0002" id="cmaths0002"><math><![CDATA[<mfenced open = "" close = ""><mtable><mtr><mtd><munder><mi>min</mi><mi>C</mi></munder></mtd><mtd><mrow><msub><mi>&lambda;</mi><mn>1</mn></msub><mo>|</mo><mo>|</mo><msub><mi>C</mi><mn>0</mn></msub><mo>|</mo><msub><mo>|</mo><mrow><mn>1</mn><mo>,</mo><mn>2</mn></mrow></msub><mo>+</mo><mfrac><mn>1</mn><mn>2</mn></mfrac><mo>|</mo><mo>|</mo><msub><mi>Y</mi><mn>0</mn></msub><mo>-</mo><msub><mi>Y</mi><mn>0</mn></msub><msub><mi>C</mi><mn>0</mn></msub><mo>|</mo><msubsup><mo>|</mo><mi>F</mi><mn>2</mn></msubsup></mrow></mtd></mtr><mtr><mtd><mrow><mi>s</mi><mo>.</mo><mi>t</mi><mo>.</mo></mrow></mtd><mtd><mrow><mi>d</mi><mi>i</mi><mi>a</mi><mi>g</mi><mrow><mo>(</mo><msub><mi>C</mi><mn>0</mn></msub><mo>)</mo></mrow><mo>=</mo><mn>0</mn></mrow></mtd></mtr></mtable></mfenced>]]></math><img file="FDA0000824022220000012.GIF" wi="587" he="200" /></maths>其中,λ<sub>1</sub>为超参数,‖·‖<sub>F</sub>表示矩阵的F‑范数,C<sub>0</sub>为优化参数;优化得到最优参数C<sub>0</sub><sup>*</sup>,根据其行向量2范数对其进行排列,得到:<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><mo>|</mo><mo>|</mo><msup><msub><mi>c</mi><mn>0</mn></msub><msub><mi>i</mi><mn>1</mn></msub></msup><mo>|</mo><mo>|</mo><mo>&GreaterEqual;</mo><mo>|</mo><mo>|</mo><msup><msub><mi>c</mi><mn>0</mn></msub><msub><mi>i</mi><mn>2</mn></msub></msup><mo>|</mo><mo>|</mo><mo>&GreaterEqual;</mo><mo>...</mo><mo>|</mo><mo>|</mo><msup><msub><mi>c</mi><mn>0</mn></msub><msub><mi>i</mi><mi>n</mi></msub></msup><mo>|</mo><mo>|</mo></mrow>]]></math><img file="FDA0000824022220000013.GIF" wi="438" he="95" /></maths>其中,<img file="FDA0000824022220000016.GIF" wi="70" he="67" />表示最优参数C<sub>0</sub><sup>*</sup>中的第i<sub>n</sub>行向量;选择前T个行向量对应的y<sub>o</sub>组成字典D<sub>0</sub>,其字典元素对应的空间位置z<sub>o</sub>组成集合L<sub>0</sub>;将所有分割区域的运动幅度y<sub>m</sub>的集合矩阵Y<sub>m</sub>输入到下式进行优化:<maths num="0004" id="cmaths0004"><math><![CDATA[<mfenced open = "" close = ""><mtable><mtr><mtd><munder><mi>min</mi><mi>C</mi></munder></mtd><mtd><mrow><msub><mi>&lambda;</mi><mn>1</mn></msub><mo>|</mo><mo>|</mo><msub><mi>C</mi><mi>m</mi></msub><mo>|</mo><msub><mo>|</mo><mrow><mn>1</mn><mo>,</mo><mn>2</mn></mrow></msub><mo>+</mo><mfrac><mn>1</mn><mn>2</mn></mfrac><mo>|</mo><mo>|</mo><msub><mi>Y</mi><mi>m</mi></msub><mo>-</mo><msub><mi>Y</mi><mi>m</mi></msub><msub><mi>C</mi><mi>m</mi></msub><mo>|</mo><msubsup><mo>|</mo><mi>F</mi><mn>2</mn></msubsup></mrow></mtd></mtr><mtr><mtd><mrow><mi>s</mi><mo>.</mo><mi>t</mi><mo>.</mo></mrow></mtd><mtd><mrow><mi>d</mi><mi>i</mi><mi>a</mi><mi>g</mi><mrow><mo>(</mo><msub><mi>C</mi><mi>m</mi></msub><mo>)</mo></mrow><mo>=</mo><mn>0</mn></mrow></mtd></mtr></mtable></mfenced>]]></math><img file="FDA0000824022220000014.GIF" wi="613" he="205" /></maths>其中,λ<sub>1</sub>为超参数,‖·‖<sub>F</sub>表示矩阵的F‑范数,C<sub>m</sub>为优化参数;优化得到最优参数C<sub>m</sub><sup>*</sup>,根据其行向量2范数对其进行排列,得到:<maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><mo>|</mo><mo>|</mo><msup><msub><mi>c</mi><mi>m</mi></msub><msub><mi>i</mi><mn>1</mn></msub></msup><mo>|</mo><mo>|</mo><mo>&GreaterEqual;</mo><mo>|</mo><mo>|</mo><msup><msub><mi>c</mi><mi>m</mi></msub><msub><mi>i</mi><mn>2</mn></msub></msup><mo>|</mo><mo>|</mo><mo>&GreaterEqual;</mo><mo>...</mo><mo>|</mo><mo>|</mo><msup><msub><mi>c</mi><mi>m</mi></msub><msub><mi>i</mi><mi>n</mi></msub></msup><mo>|</mo><mo>|</mo></mrow>]]></math><img file="FDA0000824022220000015.GIF" wi="460" he="94" /></maths>其中,<img file="FDA0000824022220000027.GIF" wi="78" he="68" />表示最优参数C<sub>m</sub><sup>*</sup>中的第i<sub>n</sub>行向量;选择前T个行向量对应的y<sub>m</sub>组成字典D<sub>m</sub>,其字典元素对应的空间位置z<sub>m</sub>组成集合L<sub>m</sub>;步骤3:计算第51帧视频中的局部运动方向<img file="FDA00008240222200000211.GIF" wi="52" he="70" />的空间位置坐标<img file="FDA00008240222200000212.GIF" wi="54" he="73" />与字典元素空间位置L<sub>0</sub>的距离,选择距离从近到远的前K个字典元素组成局部字典D<sub>ol</sub>;计算运动方向重构误差:<maths num="0006" id="cmaths0006"><math><![CDATA[<mrow><msub><mi>a</mi><mi>o</mi></msub><mo>=</mo><mi>E</mi><mi>M</mi><mi>D</mi><mrow><mo>(</mo><msubsup><mi>y</mi><mi>o</mi><mo>*</mo></msubsup><mo>,</mo><msub><mi>D</mi><mrow><mi>o</mi><mi>l</mi></mrow></msub><msub><mi>c</mi><mi>o</mi></msub><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000824022220000021.GIF" wi="426" he="71" /></maths>其中EMD()表示Earth Mover s Distance,c<sub>o</sub>为下述优化问题的最优解:<maths num="0007" id="cmaths0007"><math><![CDATA[<mrow><msub><mi>c</mi><mi>o</mi></msub><mo>=</mo><mi>arg</mi><munder><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow><mi>c</mi></munder><mo>|</mo><mo>|</mo><msubsup><mi>y</mi><mi>o</mi><mo>*</mo></msubsup><mo>-</mo><msub><mi>D</mi><mrow><mi>o</mi><mi>l</mi></mrow></msub><mi>c</mi><mo>|</mo><msubsup><mo>|</mo><mi>F</mi><mn>2</mn></msubsup><mo>+</mo><msub><mi>&lambda;</mi><mn>2</mn></msub><mo>|</mo><mo>|</mo><mi>c</mi><mo>|</mo><msub><mo>|</mo><mn>1</mn></msub></mrow>]]></math><img file="FDA0000824022220000022.GIF" wi="662" he="102" /></maths>其中,λ<sub>2</sub>为超参数,c为优化参数;计算第51帧视频中的局部运动幅度<img file="FDA0000824022220000029.GIF" wi="57" he="71" />的空间位置坐标<img file="FDA00008240222200000210.GIF" wi="60" he="63" />与字典元素空间位置L<sub>m</sub>的距离,选择距离从近到远的前K个字典元素组成局部字典D<sub>ml</sub>,其字典元素对应的空间位置组成集合<img file="FDA0000824022220000028.GIF" wi="71" he="65" />;计算运动幅度重构误差:<maths num="0008" id="cmaths0008"><math><![CDATA[<mrow><msub><mi>a</mi><mi>m</mi></msub><mo>=</mo><mfrac><mn>1</mn><mi>K</mi></mfrac><munderover><mo>&Sigma;</mo><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>K</mi></munderover><msub><mi>w</mi><mi>j</mi></msub><mo>&times;</mo><mi>E</mi><mi>M</mi><mi>D</mi><mrow><mo>(</mo><msubsup><mi>y</mi><mi>m</mi><mo>*</mo></msubsup><mo>,</mo><msub><mi>D</mi><mrow><mi>m</mi><mi>l</mi><mi>j</mi></mrow></msub><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000824022220000023.GIF" wi="628" he="150" /></maths>其中,D<sub>mlj</sub>表示字典D<sub>ml</sub>中的第j个字典元素,<img file="FDA0000824022220000024.GIF" wi="277" he="118" />为不同位置的字典元素不同的权重,l<sub>mlj</sub>表示字典L<sub>ml</sub>中的第j个字典元素;将运动方向重构误差a<sub>o</sub>按照对应像素的位置排列成运动方向异常分布图S<sub>O</sub>,运动幅度重构误差a<sub>m</sub>按照对应像素的位置排列成运动幅度异常分布图S<sub>M</sub>;步骤4:计算融合后的交通场景异常分布图S(S<sub>O</sub>(z),S<sub>M</sub>(z)):<maths num="0009" id="cmaths0009"><math><![CDATA[<mrow><mi>S</mi><mrow><mo>(</mo><msub><mi>S</mi><mi>O</mi></msub><mo>(</mo><mi>z</mi><mo>)</mo><mo>,</mo><msub><mi>S</mi><mi>M</mi></msub><mo>(</mo><mi>z</mi><mo>)</mo><mo>)</mo></mrow><mo>=</mo><mfrac><mn>1</mn><mn>2</mn></mfrac><mrow><mo>(</mo><mi>p</mi><mo>(</mo><mrow><msub><mi>F</mi><mi>O</mi></msub><mo>|</mo><msub><mi>S</mi><mi>M</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow></mrow><mo>)</mo><mo>+</mo><mi>p</mi><mo>(</mo><mrow><msub><mi>F</mi><mi>M</mi></msub><mo>|</mo><msub><mi>S</mi><mi>O</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow></mrow><mo>)</mo><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000824022220000025.GIF" wi="1046" he="119" /></maths>其中:<maths num="0010" id="cmaths0010"><math><![CDATA[<mrow><mi>p</mi><mrow><mo>(</mo><msub><mi>F</mi><mi>O</mi></msub><mo>|</mo><msub><mi>S</mi><mi>M</mi></msub><mo>(</mo><mi>z</mi><mo>)</mo><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><msub><mi>S</mi><mi>O</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow><mi>p</mi><mrow><mo>(</mo><msub><mi>S</mi><mi>M</mi></msub><mo>(</mo><mi>z</mi><mo>)</mo><mo>|</mo><msub><mi>F</mi><mi>O</mi></msub><mo>)</mo></mrow></mrow><mrow><msub><mi>S</mi><mi>O</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow><mi>p</mi><mrow><mo>(</mo><msub><mi>S</mi><mi>M</mi></msub><mo>(</mo><mi>z</mi><mo>)</mo><mo>|</mo><msub><mi>F</mi><mi>O</mi></msub><mo>)</mo></mrow><mo>+</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><msub><mi>S</mi><mi>O</mi></msub><mo>(</mo><mi>z</mi><mo>)</mo><mo>)</mo></mrow><mi>p</mi><mrow><mo>(</mo><msub><mi>S</mi><mi>M</mi></msub><mo>(</mo><mi>z</mi><mo>)</mo><mo>|</mo><msub><mi>B</mi><mi>O</mi></msub><mo>)</mo></mrow></mrow></mfrac></mrow>]]></math><img file="FDA0000824022220000026.GIF" wi="1258" he="143" /></maths><maths num="0011" id="cmaths0011"><math><![CDATA[<mfenced open = "" close = ""><mtable><mtr><mtd><mrow><mi>p</mi><mrow><mo>(</mo><mrow><msub><mi>S</mi><mi>M</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>F</mi><mi>O</mi></msub></mrow><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><msub><mi>N</mi><mrow><msub><mi>bF</mi><mi>o</mi></msub></mrow></msub><mrow><mo>(</mo><mrow><msub><mi>S</mi><mi>M</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow></mrow><mo>)</mo></mrow></mrow><msub><mi>N</mi><msub><mi>F</mi><mi>O</mi></msub></msub></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mi>p</mi><mrow><mo>(</mo><mrow><msub><mi>S</mi><mi>M</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>B</mi><mi>O</mi></msub></mrow><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><msub><mi>N</mi><mrow><msub><mi>bB</mi><mi>O</mi></msub></mrow></msub><mrow><mo>(</mo><mrow><msub><mi>S</mi><mi>M</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow></mrow><mo>)</mo></mrow></mrow><msub><mi>N</mi><msub><mi>B</mi><mi>O</mi></msub></msub></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mi>p</mi><mrow><mo>(</mo><mrow><msub><mi>F</mi><mi>M</mi></msub><mo>|</mo><msub><mi>S</mi><mi>O</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow></mrow><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><msub><mi>S</mi><mi>M</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow><mi>p</mi><mrow><mo>(</mo><mrow><msub><mi>S</mi><mi>O</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>F</mi><mi>M</mi></msub></mrow><mo>)</mo></mrow></mrow><mrow><msub><mi>S</mi><mi>M</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow><mi>p</mi><mrow><mo>(</mo><mrow><msub><mi>S</mi><mi>O</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>F</mi><mi>M</mi></msub></mrow><mo>)</mo></mrow><mo>+</mo><mrow><mo>(</mo><mrow><mn>1</mn><mo>-</mo><msub><mi>S</mi><mi>M</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow></mrow><mo>)</mo></mrow><mi>p</mi><mrow><mo>(</mo><mrow><msub><mi>S</mi><mi>O</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>B</mi><mi>M</mi></msub></mrow><mo>)</mo></mrow></mrow></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mi>p</mi><mrow><mo>(</mo><mrow><msub><mi>S</mi><mi>O</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>F</mi><mi>M</mi></msub></mrow><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><msub><mi>N</mi><mrow><msub><mi>bF</mi><mi>M</mi></msub></mrow></msub><mrow><mo>(</mo><mrow><msub><mi>S</mi><mi>O</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow></mrow><mo>)</mo></mrow></mrow><msub><mi>N</mi><msub><mi>F</mi><mi>M</mi></msub></msub></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mi>p</mi><mrow><mo>(</mo><mrow><msub><mi>S</mi><mi>O</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>B</mi><mi>M</mi></msub></mrow><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><msub><mi>N</mi><mrow><msub><mi>bB</mi><mi>M</mi></msub></mrow></msub><mrow><mo>(</mo><mrow><msub><mi>S</mi><mi>O</mi></msub><mrow><mo>(</mo><mi>z</mi><mo>)</mo></mrow></mrow><mo>)</mo></mrow></mrow><msub><mi>N</mi><msub><mi>B</mi><mi>M</mi></msub></msub></mfrac></mrow></mtd></mtr></mtable></mfenced>]]></math><img file="FDA0000824022220000031.GIF" wi="1274" he="830" /></maths><img file="FDA0000824022220000038.GIF" wi="78" he="64" />和<img file="FDA0000824022220000039.GIF" wi="85" he="69" />分别表示S<sub>O</sub>检测出的异常区域F<sub>O</sub>和正常区域B<sub>O</sub>的像素个数;<img file="FDA0000824022220000032.GIF" wi="256" he="75" />和<img file="FDA0000824022220000033.GIF" wi="258" he="78" />分别表示在S<sub>M</sub>中数值属于异常和正常的像素个数;<img file="FDA0000824022220000034.GIF" wi="91" he="71" />和<img file="FDA0000824022220000035.GIF" wi="93" he="71" />分别表示S<sub>M</sub>检测出的异常区域F<sub>M</sub>和正常区域B<sub>M</sub>的像素个数;<img file="FDA0000824022220000036.GIF" wi="258" he="71" />和<img file="FDA0000824022220000037.GIF" wi="257" he="74" />分别表示在S<sub>O</sub>中数值属于异常和正常的像素个数,p(F<sub>O</sub>|S<sub>M</sub>(z)和p(F<sub>M</sub>|S<sub>O</sub>(z))为位置z处像素点的似然概率,S<sub>O</sub>(z)和S<sub>M</sub>(z)为运动方向异常分布图和运动幅度异常分布图在位置z处的重构误差。
地址 710072 陕西省西安市友谊西路127号