发明名称 一种基于不同焦距视频图像融合的交通状态识别方法
摘要 本发明提供一种基于不同焦距视频图像融合的交通状态识别方法,通过对不同焦距的视频图像进行背景差法和自动背景更新算法检测运动区域,分别计算灰度特征参数和速度特征参数,然后通过BP神经网络对大量的灰度特征参数和速度特征参数数据进行训练,从而实现交通状态的识别。实验结果表明,本方法能够较好通过交通视频流识别出交通状况,并且易于实现、准确性较高,对促进交通诱导系统的研究和应用、解决城市中交通拥堵问题具有较高的应用价值。
申请公布号 CN103605960A 申请公布日期 2014.02.26
申请号 CN201310578627.0 申请日期 2013.11.15
申请人 长安大学 发明人 赵祥模;徐志刚;李娜;尚旭明;孟凡林;赵佳乐;刘慧琪;闵海根
分类号 G06K9/00(2006.01)I;G06K9/62(2006.01)I 主分类号 G06K9/00(2006.01)I
代理机构 西安恒泰知识产权代理事务所 61216 代理人 李婷
主权项 一种基于不同焦距视频图像融合的交通状态识别方法,其特征在于,包括以下步骤:步骤一,安装摄像机S10,在道路旁不同位置安装第一摄像机和第二摄像机,调整两个摄像的镜头对准道路同一个位置,且两个摄像机的焦距不同;步骤二,灰度特征参数的获取步骤S20,对第一摄像机采集的视频图像序列进行灰度化处理;步骤S21,对灰度化处理后的视频图像序列进行多帧平均法提取背景,背景提取公式为: <mrow> <mi>B</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>F</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>式中,B(x,y)表示背景图像的灰度值,Fk(x,y)表示第k帧视频图像的灰度值,N为第一摄像机初始化后采集的视频图像的帧数,N的取值为90~110;步骤S22,通过帧差法实现背景更新,具体步骤如下:获取第一摄像机采集的第i帧与第i‑1帧视频图像,i>N+1,按照以下公式分别进行处理:Di(x,y)=|Fi(x,y)‑Fi‑1(x,y)| <mrow> <msub> <mi>T</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open='{' close=''> <mtable> <mtr> <mtd> <mn>1</mn> <mo>,</mo> </mtd> <mtd> <msub> <mi>D</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&GreaterEqual;</mo> <msub> <mi>Th</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> <mo>,</mo> </mtd> <mtd> <msub> <mi>D</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <msub> <mi>Th</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </mtd> </mtr> </mtable> </mfenced> </mrow>上式中,Fi(x,y)、Fi‑1(x,y)分别表示第i帧、i‑1帧视频图像的灰度值,Thi‑1为背景更新阈值,该阈值利用自适应阈值算法OSTU获得, Ti(x,y)为二值化模板;Ti(x,y)为1时,表示像素点(x,y)为第i帧视频图像的前景区域,则对该点(x,y)在第i帧视频图像上对应的灰度值进行去除,对应的背景值保持不变;Ti(x,y)为0时,表示像素点(x,y)为第i帧视频图像的背景区域,则用该点(x,y)在第i帧视频图像上对应的灰度值更新背景图像B(x,y)上(x,y)点的灰度值;根据二值化模板Ti(x,y),利用下面公式对背景图像B(x,y)进行更新: <mrow> <msub> <mi>B</mi> <mn>0</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open='{' close=''> <mtable> <mtr> <mtd> <mi>B</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> </mtd> <mtd> <msub> <mi>T</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>1</mn> </mtd> </mtr> <mtr> <mtd> <mi>&alpha;</mi> <msub> <mi>F</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> <mi>B</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> </mtd> <mtd> <msub> <mi>T</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mtd> </mtr> </mtable> </mfenced> </mrow>式中,B0(x,y)为更新后的背景图像,α为更新比例,其决定背景图像更新的速度,取值为0.02~0.05;步骤S23,获取当前第j(j>N)帧视频图像,对其进行灰度化,然后减去步骤S22得到的更新后的背景图像B0(x,y),得到第j帧图像的灰度参数图像;步骤S24,通过灰度参数算法,得到灰度特征参数,具体如下:在当前第j帧视频图像的灰度参数图像上,划定感兴趣区域,感兴趣区域为视频图像中整个车辆所在的道路区域,按照下面公式计算感兴趣区域的灰度特征参数G: <mrow> <mi>G</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>x</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </msubsup> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>y</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </msubsup> <mi>F</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>m</mi> <mo>)</mo> </mrow> </mrow>式中,F(x,y,k)表示第j帧视频图像与更新后的背景图像B0(x,y) 做差后,图像上的像素点(x,y)的灰度值为m;M为感兴趣区域内的总像素的个数;步骤三,速度特征参数的获取步骤S30~步骤S33与步骤S20~步骤S23的处理步骤相同,不同的是,步骤S30~步骤S33中处理的是第二摄像机采集的视频图像;步骤S34,对步骤S33处理得到的第二摄像机的第j帧图像的灰度参数图像上,沿道路行车方向依次标出两个模拟矩形线圈R1和R2,R1和R2相互平行且与道路行车方向垂直,R1和R2之间的距离为Δd,然后对整副图像通过阈值分割的方法进行二值化处理,得到二值化图像,阈值分割时的阈值为Thi‑1;再进行以下处理:a.从第j帧二值化图像开始,判断是否有某一辆车辆进入线圈R1中,判断依据是线圈R1中平均灰度值是否大于Th,Th取70~90;b.如果读取到第j+p(p>0)帧二值化图像时,线圈R1平均灰度值大于Th,则有车辆进入R1中;c.判断是否有车辆进入线圈R2中,判断依据是线圈R2中平均灰度值是否大于Th,Th取70~90;d.如果读取到第j+q(q>p)帧二值化图像时,线圈R2平均灰度值大于Th,则车辆进入R2中,则从车辆进入R1到车辆进入R2时共读取的二值化图像的帧数q‑p即为该车经过两个线圈需要的帧数;e.按照以下公式计算该车辆的速度特征参数V: <mrow> <mi>V</mi> <mo>=</mo> <mfrac> <mi>&Delta;d</mi> <mrow> <mrow> <mo>(</mo> <mi>q</mi> <mo>-</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>&CenterDot;</mo> <msub> <mi>V</mi> <mi>f</mi> </msub> </mrow> </mfrac> </mrow>式中,Vf为视频图像的帧率;步骤四,数据的训练步骤S40,按照上述步骤计算出每一个车辆的速度特征参数V和该车辆通过两个线圈的时刻感兴趣区域的灰度特征参数G,可得到多组速度特征参数和灰度特征参数,每一组速度特征参数和灰度特征参数代表一种当前道路交通状态;步骤S41,利用BP神经网络的反向传播算法训练步骤S40的多组速度参数和灰度特征参数,得到BP神经网络输入层和输出层的权值;再得到一组速度特征参数和灰度特征参数时,通过与输入层和输出层的权值计算,即可得到该组数据对应的当前道路交通状态。
地址 710064 陕西省西安市南二环中段