发明名称 一种基于局部对称特征的视频车辆检测方法
摘要 本发明公开了一种基于局部对称特征的视频车辆检测方法,利用局部不变特征的集合来描述车辆目标,可以有效避免分割问题,与现有技术相比,该方法将车辆的对称特征作为车辆局部特征聚类的重要线索,实现车辆中心位置的定位,有效避免了采用常规聚类算法时产生的算法复杂度高的问题,而且该方法具有较高的检测精度,运算过程简单,实时性强,能有效地对静态图片和视频图像中的车辆目标进行检测和识别,因此具有广阔的应用前景。
申请公布号 CN106023270A 申请公布日期 2016.10.12
申请号 CN201610338718.0 申请日期 2016.05.19
申请人 西安石油大学 发明人 卢胜男;冯建利;段沛沛
分类号 G06T7/60(2006.01)I;G06K9/46(2006.01)I 主分类号 G06T7/60(2006.01)I
代理机构 西安通大专利代理有限责任公司 61200 代理人 徐文权
主权项 一种基于局部对称特征的视频车辆检测方法,其特征在于,包括以下步骤:步骤一,在初始帧上,沿车道线手动设置ROI区域,并记录ROI区域边界线上每个像素点的坐标;步骤二,对于ROI区域内部,计算当前帧中视频图像的特征角点p<sub>i</sub>,并记录特征角点p<sub>i</sub>的位置坐标;步骤三,以步骤二得到的各特征角点为中心,各构造一个正方形区域,采用特征描述算子构造各特征角点的特征矢量<img file="FDA0000994594490000011.GIF" wi="83" he="79" />步骤四,构造各特征角点的水平对称角点q<sub>i</sub>的特征矢量<img file="FDA0000994594490000012.GIF" wi="83" he="79" />步骤五,计算任一特征角点p<sub>i</sub>与其他所有特征角点分别对应的水平对称角点q<sub>i</sub>的距离,其最小距离表示为Min(p<sub>i</sub>),次最小距离表示为Min<sup>Sec</sup>(p<sub>i</sub>),Min(p<sub>i</sub>)的计算公式如下所示:<maths num="0001"><math><![CDATA[<mrow><mi>M</mi><mi>i</mi><mi>n</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>=</mo><mi>M</mi><mi>i</mi><mi>n</mi><mrow><mo>(</mo><mi>D</mi><mo>(</mo><mrow><msub><mi>p</mi><mi>i</mi></msub><mo>,</mo><msub><mi>q</mi><mi>j</mi></msub></mrow><mo>)</mo><mo>)</mo></mrow><mo>=</mo><munderover><mo>&Sigma;</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>M</mi></munderover><munderover><mo>&Sigma;</mo><mrow><mi>j</mi><mo>&NotEqual;</mo><mi>i</mi></mrow><mi>M</mi></munderover><msup><mrow><mo>(</mo><msubsup><mi>V</mi><mi>p</mi><mi>i</mi></msubsup><mo>-</mo><msubsup><mi>V</mi><mi>q</mi><mi>j</mi></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1.1</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000994594490000013.GIF" wi="1246" he="137" /></maths>其中,<img file="FDA0000994594490000014.GIF" wi="61" he="79" />表示第i个特征角点的特征矢量,<img file="FDA0000994594490000015.GIF" wi="67" he="79" />表示第j个水平对称角点q<sub>j</sub>的特征矢量,q<sub>j</sub>为特征角点p<sub>j</sub>的水平对称角点;步骤六,若特征角点p<sub>i</sub>满足以下条件,则特征角点p<sub>i</sub>和特征角点p<sub>j</sub>为对称角点对,特征角点p<sub>j</sub>为与特征角点p<sub>i</sub>距离最小的水平对称角点q<sub>j</sub>所对应的特征角点,;<maths num="0002"><math><![CDATA[<mrow><mfrac><mrow><mi>M</mi><mi>i</mi><mi>n</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>i</mi></msub><mo>)</mo></mrow></mrow><mrow><msup><mi>Min</mi><mrow><mi>S</mi><mi>e</mi><mi>c</mi></mrow></msup><mrow><mo>(</mo><msub><mi>p</mi><mi>i</mi></msub><mo>)</mo></mrow></mrow></mfrac><mo>&lt;</mo><mn>0.65</mn><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1.2</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000994594490000016.GIF" wi="958" he="127" /></maths>步骤七,遍历所有特征角点p<sub>i</sub>,重复上述步骤五和步骤六,直至找到所有对称角点对;步骤八,假设用<img file="FDA0000994594490000019.GIF" wi="163" he="51" />表示每个对称角点对,分别求得各个对称角点对中心位置的x坐标为<img file="FDA0000994594490000017.GIF" wi="622" he="79" />计算得到中心位置<img file="FDA00009945944900000110.GIF" wi="107" he="64" />的统计直方图,将该统计直方图的峰值点作为候选车辆中心线的初始位置x<sub>vehicle</sub>,并计算统计直方图的方差<img file="FDA0000994594490000018.GIF" wi="147" he="63" />步骤九,判断对称角点对<img file="FDA00009945944900000111.GIF" wi="143" he="46" />是否属于同一辆车上的对称角点对,若对称角点对<img file="FDA00009945944900000112.GIF" wi="142" he="46" />的中心位置x坐标满足式(1.3),则保留该对称角点对,反之删除;<maths num="0003"><math><![CDATA[<mrow><mo>|</mo><msubsup><mi>C</mi><mrow><mi>p</mi><mo>&LeftRightArrow;</mo><mi>q</mi></mrow><mi>i</mi></msubsup><mo>.</mo><mi>x</mi><mo>-</mo><msub><mi>x</mi><mrow><mi>v</mi><mi>e</mi><mi>h</mi><mi>i</mi><mi>c</mi><mi>l</mi><mi>e</mi></mrow></msub><mo>|</mo><mo>&lt;</mo><mn>3</mn><msubsup><mi>&sigma;</mi><mrow><mi>v</mi><mi>e</mi><mi>h</mi><mi>i</mi><mi>c</mi><mi>l</mi><mi>e</mi></mrow><mn>2</mn></msubsup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1.3</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000994594490000021.GIF" wi="1046" he="95" /></maths>步骤十,统计步骤九中保留下来的所有对称角点对中心位置的平均值μ<sub>vehicle</sub>,μ<sub>vehicle</sub>即为候选车辆的中心线位置;步骤十一,选取当前视频图像中的若干帧,手动选取车辆底部阴影区域,利用阴影的几何特点、亮度和色彩信息进行建模,训练阴影样本的均值μ<sub>shadow</sub>和方差σ<sub>shadow</sub>,以及阴影区域的x方向像素点个数l和y方向像素点个数h;步骤十二,利用高斯混合模型,对中心线两侧的疑似车辆区域像素点进行测试,其中疑似车辆区域为x∈[μ<sub>vehicle</sub>‑l,μ<sub>vehicle</sub>+l],如式(1.4)所示,其中,p<sub>i</sub>表示图像中被测像素点,T<sub>shadow</sub>为阴影样本集的G<sub>shadow</sub>(p<sub>i</sub>)函数的均值;如果被测像素点满足式(1.5),则判定为阴影点,当阴影点是连续的,且满足|N<sub>x</sub>‑l|<0.2*l和|N<sub>y</sub>‑h|<0.1*h时,N<sub>x</sub>、N<sub>y</sub>分别为x方向和y方向上连续的阴影点个数,则可判断该阴影区域所对应的中心线为车辆的中心线,否则该中心线不是车辆的中心线,结束检测;<maths num="0004"><math><![CDATA[<mrow><msub><mi>G</mi><mrow><mi>s</mi><mi>h</mi><mi>a</mi><mi>d</mi><mi>o</mi><mi>w</mi></mrow></msub><mrow><mo>(</mo><msub><mi>p</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>=</mo><mi>exp</mi><mrow><mo>(</mo><mo>-</mo><mfrac><mrow><msub><mi>p</mi><mi>i</mi></msub><mo>-</mo><msub><mi>&mu;</mi><mrow><mi>s</mi><mi>h</mi><mi>a</mi><mi>d</mi><mi>o</mi><mi>w</mi></mrow></msub><msup><mo>)</mo><mn>2</mn></msup></mrow><msubsup><mi>&sigma;</mi><mrow><mi>s</mi><mi>h</mi><mi>a</mi><mi>d</mi><mi>o</mi><mi>w</mi></mrow><mn>2</mn></msubsup></mfrac><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1.4</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000994594490000022.GIF" wi="1222" he="135" /></maths>G<sub>shadow</sub>(p<sub>i</sub>)>T<sub>shadow</sub>   (1.5)步骤十三,假设车辆目标区域可表示为R=(l<sub>R</sub>,r<sub>R</sub>,u<sub>R</sub>,b<sub>R</sub>),l<sub>R</sub>和r<sub>R</sub>分别是以μ<sub>vehicle</sub>为中心的目标区域的左侧和右侧边界值,u<sub>R</sub>和b<sub>R</sub>表示目标区域的上面和下面的边界值,确定l<sub>R</sub>、r<sub>R</sub>、u<sub>R</sub>和b<sub>R</sub>取值的方法如下:b<sub>R</sub>的计算方法:逐行统计车辆底部阴影区域像素值个数,取其最大值作为b<sub>R</sub>的宽度,以b<sub>R</sub>的宽度为界限,利用垂直Sobel算子,提取车辆底部阴影区域上方的ROI区域内图像的边缘,车辆的后保险杠和车辆底部阴影区域之间的中心线确定为b<sub>R</sub>的位置;r<sub>R</sub>和l<sub>R</sub>的计算方法:r<sub>R</sub>和l<sub>R</sub>的取值根据车辆的中心线位置及b<sub>R</sub>的宽度来确定,如式(1.6)所示;l<sub>R</sub>=μ<sub>vehicle</sub>‑width(b<sub>R</sub>)/2 r<sub>R</sub>=μ<sub>vehicle</sub>+width(b<sub>R</sub>)/2   (1.6)u<sub>R</sub>的计算方法:假设车辆高度为h,其高度和宽度满足比例关系h=γ(r<sub>R</sub>‑l<sub>R</sub>),其中,γ由一组车辆数据训练获得;利用垂直Sobel算子提取图像[l<sub>R</sub>,r<sub>R</sub>]范围内水平边缘,并统计其灰度图像的水平投影,假设P(y)表示其水平投影直方图分布,那么y∈[b<sub>R</sub>+0.5h,b<sub>R</sub>+1.5h]范围内的P(y)最大值即为u<sub>R</sub>的值;通过对上述方法,我们可以依次获得b<sub>R</sub>、l<sub>R</sub>、r<sub>R</sub>和u<sub>R</sub>取值,从而确定目标车辆。
地址 721006 陕西省西安市电子二路东段18号