发明名称 一种纹理区分优化HOG算子的ATM滞留物检测方法
摘要 本发明公开了一种纹理区分优化HOG算子的ATM滞留物检测方法,该方法首先对ATM监控视频的单帧图像进行纹理特征的描述,得到纹理特征描述值,然后加入修正因子得到修正值;并根据纹理特征构建背景模型,再计算每一个图像序列的方差,得到其权重;再将当前像素与背景模型的背景直方图逐个比较,并按对应权重在相似度级别上融合以消除背景;统计背景消除后图像的梯度的强度和方向,得到其梯度直方图;最后将统计背景消除后图像中所有重叠的块进行HOG特征向量的收集归总,得到滞留物图像。本发明通过区分检测图像的纹理特征对背景进行消除,以突出检测目标的局部纹理特征,并采用方差法提高背景消除的精度。
申请公布号 CN105957093A 申请公布日期 2016.09.21
申请号 CN201610399407.5 申请日期 2016.06.07
申请人 浙江树人大学 发明人 胡峰俊
分类号 G06T7/00(2006.01)I 主分类号 G06T7/00(2006.01)I
代理机构 杭州求是专利事务所有限公司 33200 代理人 邱启旺
主权项 一种纹理区分优化HOG算子的ATM滞留物检测方法,其特征在于,该方法包括以下步骤:(1)提取ATM监控视频的单帧图像作为输入图像;(2)采用每个像素联合在其半径为D的邻域上的S个像素的分布来对纹理特征进行描述:<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><msub><mi>L</mi><mrow><mi>S</mi><mo>,</mo><mi>D</mi></mrow></msub><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>,</mo><msub><mi>y</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>=</mo><munderover><mo>&Sigma;</mo><mrow><mi>s</mi><mo>=</mo><mn>0</mn></mrow><mrow><mi>D</mi><mo>-</mo><mn>1</mn></mrow></munderover><mi>&xi;</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>s</mi></msub><mo>-</mo><msub><mi>p</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>&CenterDot;</mo><msup><mn>2</mn><mi>s</mi></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001011564930000011.GIF" wi="901" he="110" /></maths>其中,L<sub>S,D</sub>(x<sub>i</sub>,y<sub>i</sub>)表示(x<sub>i</sub>,y<sub>i</sub>)处的像素的半径为D的邻域上的S个像素的纹理特征描述,p<sub>i</sub>表示(x<sub>i</sub>,y<sub>i</sub>)处的像素灰度值,p<sub>s</sub>表示半径为D的环形邻域中各像素灰度平均值,ξ为系数,其取值为:<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><mi>&xi;</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mfenced open = "{" close = ""><mtable><mtr><mtd><mrow><mn>1</mn><mo>,</mo><mi>x</mi><mo>&GreaterEqual;</mo><mn>0</mn></mrow></mtd></mtr><mtr><mtd><mrow><mn>0</mn><mo>,</mo><mi>x</mi><mo>&lt;</mo><mn>0</mn></mrow></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001011564930000012.GIF" wi="925" he="125" /></maths>(3)加入修正因子σ,减小领域像素变化小的时候计算结果的差异:<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><msubsup><mi>L</mi><mrow><mi>S</mi><mo>,</mo><mi>D</mi></mrow><mo>&prime;</mo></msubsup><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>,</mo><msub><mi>y</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>=</mo><munderover><mo>&Sigma;</mo><mrow><mi>s</mi><mo>=</mo><mn>0</mn></mrow><mrow><mi>D</mi><mo>-</mo><mn>1</mn></mrow></munderover><mi>&xi;</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>s</mi></msub><mo>-</mo><msub><mi>p</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>&CenterDot;</mo><msup><mn>2</mn><mi>s</mi></msup><mo>+</mo><mi>&sigma;</mi><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>3</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001011564930000013.GIF" wi="1062" he="111" /></maths>其中,L′<sub>S,D</sub>(x<sub>i</sub>,y<sub>i</sub>)表示修正后S个像素在其半径为D的邻域上的纹理特征描述。(4)根据式(3)计算所得的纹理特征,构建背景模型:<maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><mi>B</mi><mo>=</mo><mo>{</mo><mrow><msub><mover><mi>u</mi><mo>&RightArrow;</mo></mover><mn>1</mn></msub><mo>,</mo><msub><mover><mi>u</mi><mo>&RightArrow;</mo></mover><mn>2</mn></msub><mo>,</mo><mo>...</mo><mo>,</mo><msub><mover><mi>u</mi><mo>&RightArrow;</mo></mover><mi>n</mi></msub></mrow><mo>}</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001011564930000014.GIF" wi="870" he="63" /></maths>其中,<img file="FDA0001011564930000015.GIF" wi="38" he="54" />表示背景模型中的第i个纹理直方图。(5)设当前像素的直方图为<img file="FDA0001011564930000016.GIF" wi="51" he="55" />将其与背景模型B的n个背景直方图逐个比较,若两者间相似度小于设定阈值T<sub>s</sub>,则为前景,否则为背景。<maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><mi>n</mi><mo>=</mo><munder><mi>argmin</mi><mi>i</mi></munder><mrow><mo>(</mo><munderover><mo>&Sigma;</mo><mrow><mi>i</mi><mo>=</mo><mn>0</mn></mrow><mrow><mi>n</mi><mo>-</mo><mn>1</mn></mrow></munderover><msubsup><mi>L</mi><mrow><mi>S</mi><mo>,</mo><mi>D</mi></mrow><mo>&prime;</mo></msubsup><mo>(</mo><mrow><msub><mi>x</mi><mi>i</mi></msub><mo>,</mo><msub><mi>y</mi><mi>i</mi></msub></mrow><mo>)</mo><mo>&gt;</mo><msub><mi>T</mi><mi>s</mi></msub><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001011564930000017.GIF" wi="1014" he="119" /></maths>其中,设有两个直方图<img file="FDA0001011564930000018.GIF" wi="27" he="39" />和<img file="FDA0001011564930000019.GIF" wi="59" he="47" />两者间的相似度比较方法为:<maths num="0006" id="cmaths0006"><math><![CDATA[<mrow><mo>&cap;</mo><mrow><mo>(</mo><mover><mi>x</mi><mo>&RightArrow;</mo></mover><mo>,</mo><mover><mi>y</mi><mo>&RightArrow;</mo></mover><mo>)</mo></mrow><mo>=</mo><mi>m</mi><mi>i</mi><mi>n</mi><munderover><mo>&Sigma;</mo><mrow><mi>n</mi><mo>=</mo><mn>0</mn></mrow><mrow><mi>n</mi><mo>-</mo><mn>1</mn></mrow></munderover><mrow><mo>(</mo><msub><mi>x</mi><mi>n</mi></msub><mo>,</mo><msub><mi>x</mi><mi>n</mi></msub><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA00010115649300000110.GIF" wi="918" he="111" /></maths>(6)为了提高精确性,对每一个图像序列,计算其方差:<maths num="0007" id="cmaths0007"><math><![CDATA[<mrow><msup><mi>var</mi><mi>j</mi></msup><mo>=</mo><mfrac><mn>1</mn><mi>Q</mi></mfrac><mo>&CenterDot;</mo><msup><mrow><mo>&lsqb;</mo><munderover><mo>&Sigma;</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>Q</mi></munderover><mi>l</mi><mrow><mo>(</mo><msubsup><mi>R</mi><mi>i</mi><mi>j</mi></msubsup><mo>,</mo><msup><mi>R</mi><mi>j</mi></msup><mo>)</mo></mrow><mo>&rsqb;</mo></mrow><mn>2</mn></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA00010115649300000111.GIF" wi="917" he="127" /></maths>其中,var<sup>j</sup>表示第j个图像序列的方差,Q表示训练样本总数,R表示所有训练样本的平均值子图像:<maths num="0008" id="cmaths0008"><math><![CDATA[<mrow><mi>R</mi><mo>=</mo><mfrac><mn>1</mn><mi>Q</mi></mfrac><mo>&CenterDot;</mo><munderover><mo>&Sigma;</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>Q</mi></munderover><msub><mi>R</mi><mi>i</mi></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>8</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001011564930000021.GIF" wi="836" he="118" /></maths>R<sup>j</sup>表示所有样本的平均值图像R的第j个子图像,<img file="FDA0001011564930000026.GIF" wi="51" he="55" />表示第i个样本的第j个子图像,l表示相似度量距离。以此方差作为每一个子图像的局部纹理特征的权重,然后按对应权重在相似度级别上融合,最后再以方差的度量方式进行背景消除。(7)统计背景消除后图像G(x,y)的梯度的强度和方向:<maths num="0009" id="cmaths0009"><math><![CDATA[<mrow><mfenced open = "{" close = ""><mtable><mtr><mtd><mrow><msub><mi>F</mi><mi>x</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mi>G</mi><mrow><mo>(</mo><mi>x</mi><mo>+</mo><mn>1</mn><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>-</mo><mi>G</mi><mrow><mo>(</mo><mi>x</mi><mo>-</mo><mn>1</mn><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>F</mi><mi>y</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mi>G</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>+</mo><mn>1</mn><mo>)</mo></mrow><mo>-</mo><mi>G</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow></mrow></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>9</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001011564930000022.GIF" wi="990" he="134" /></maths>其中,F<sub>x</sub>(x,y)、F<sub>y</sub>(x,y)分别表示统计背景消除后图像中在像素点(x,y)处的水平方向的梯度的幅值和垂直方向梯度的幅值;G(x+1,y)、G(x‑1,y)、G(x,y+1)、G(x,y‑1)分别表示点(x+1,y)、(x‑1,y)、(x,y+1)、(x,y‑1)处的像素值。所以其强度为:<maths num="0010" id="cmaths0010"><math><![CDATA[<mrow><mi>F</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><msqrt><mrow><msub><mi>F</mi><mi>x</mi></msub><msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msub><mi>F</mi><mi>y</mi></msub><msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mn>2</mn></msup></mrow></msqrt><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>10</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001011564930000023.GIF" wi="982" he="77" /></maths>方向为:<maths num="0011" id="cmaths0011"><math><![CDATA[<mrow><mi>&eta;</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mi>a</mi><mi>r</mi><mi>c</mi><mi>t</mi><mi>a</mi><mi>n</mi><mrow><mo>(</mo><mfrac><mrow><msub><mi>F</mi><mi>y</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow><mrow><msub><mi>F</mi><mi>x</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow></mfrac><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>11</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001011564930000024.GIF" wi="957" he="126" /></maths>(8)采用L2‑norm范数对梯度直方图进行归一化处理:<maths num="0012" id="cmaths0012"><math><![CDATA[<mrow><msup><mi>o</mi><mo>*</mo></msup><mo>=</mo><mfrac><mi>o</mi><msqrt><mrow><mo>|</mo><mo>|</mo><mi>o</mi><mo>|</mo><msubsup><mo>|</mo><mi>k</mi><mn>2</mn></msubsup><mo>+</mo><msup><mi>&lambda;</mi><mn>2</mn></msup></mrow></msqrt></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>12</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001011564930000025.GIF" wi="829" he="125" /></maths>其中,o<sup>*</sup>代表归一化之后的特征向量,o代表归一化之前的特征向量,||o||<sub>k</sub>代表它的k阶范数k=1,2,λ为常数。(9)将统计背景消除后图像中所有重叠的块进行HOG特征向量的收集归总,得到滞留物图像。
地址 310015 浙江省杭州市拱墅区舟山东路19号