发明名称 一种基于监控视频的多特征融合的车辆体型分类方法
摘要 本发明公开了一种基于监控视频的多特征融合的车辆体型分类方法。包括依次进行的训练过程和识别过程:训练过程中,将所有各种车辆样本图像逐个输入到训练数据库中,计算各个车辆样本图像的HU矩特征、LBPS特征和长宽比特征并进行融合,再和类别标注一起输入到支持向量机中训练,并利用改进的粒子群方法来对支持向量机进行参数优化;识别过程中,先提取车辆前景,根据车辆前景计算得到该车辆图像序列的特征向量后输入到支持向量机中,输出识别结果。本发明方法能有效解决监控视频中车型分类准确率不高的问题,减少了后续的SVM训练的时间,且能满足实时性的需求,也避免了传统的粒子群方法容易陷入局部极小值和后期易震荡的缺点。
申请公布号 CN103886331B 申请公布日期 2017.01.25
申请号 CN201410123000.0 申请日期 2014.03.28
申请人 浙江大学 发明人 于慧敏;李洋
分类号 G06K9/62(2006.01)I 主分类号 G06K9/62(2006.01)I
代理机构 杭州求是专利事务所有限公司 33200 代理人 林怀禹
主权项 一种基于监控视频的多特征融合的车辆体型分类方法,其特征在于:包括依次进行的训练过程和识别过程:1)训练过程包括如下步骤:1.1)将所有各种车辆样本图像逐个输入到训练数据库中,各种车辆样本图像包含车辆完整轮廓;1.2)计算各个车辆样本图像的HU矩特征,并对其进行归一化处理,记为以下式1:HU=(hu<sub>1</sub>,hu<sub>2</sub>,hu<sub>3</sub>,hu<sub>4</sub>,hu<sub>5</sub>,hu<sub>6</sub>,hu<sub>7</sub>)                   (1)其中,hu<sub>1</sub>~hu<sub>7</sub>分别表示HU矩特征的每一个子分量;1.3)计算各个车辆样本图像的LBPS特征:对各个车辆样本图像分别进行2×2和3×3分块,计算每一个子块的LBP特征,接着计算每个子块的LBPS,LBPS以下公式2:<maths num="0001"><math><![CDATA[<mrow><mi>L</mi><mi>B</mi><mi>P</mi><mi>S</mi><mo>=</mo><mo>-</mo><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mn>59</mn></munderover><msub><mi>lbp</mi><mi>i</mi></msub><mi>l</mi><mi>o</mi><mi>g</mi><mrow><mo>(</mo><msub><mi>lbp</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001109633450000011.GIF" wi="1198" he="143" /></maths>其中,lbp<sub>1</sub>~lbp<sub>59</sub>表示LBP特征的每一个子分量,计算出每个子块的LBPS值后,将上述2×2和3×3分块后得到的13个子块图像加上原始车辆样本图像得到总计14个子块图像,将该14个子块图像的LBPS值组合成该原始车辆样本图像的LBPS特征,并对其做归一化处理,记为以下公式3:LBPS=(LBPS<sub>1</sub>,LBPS<sub>2</sub>,…LBPS<sub>i</sub>,…LBPS<sub>14</sub>)            (3)1.4)计算各个车辆样本图像分的长宽比信息:设车辆样本图像的宽度为width,高度为height,长宽比特征记为以下公式4:<maths num="0002"><math><![CDATA[<mrow><mi>R</mi><mi>a</mi><mi>t</mi><mi>i</mi><mi>o</mi><mo>=</mo><mfrac><mrow><mi>h</mi><mi>e</mi><mi>i</mi><mi>g</mi><mi>h</mi><mi>t</mi></mrow><mrow><mi>w</mi><mi>i</mi><mi>d</mi><mi>t</mi><mi>h</mi></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001109633450000012.GIF" wi="965" he="136" /></maths>1.5)将步骤1.2)~1.4)中计算得到的HU矩特征、LBPS特征和长宽比特征融合为一个特征向量feature,用于表征车辆样本图像的特征信息,记为以下公式5:feature=(LBPS HU Ratio)             (5)1.6)将上述车辆样本图像的特征向量feature和类别标注一起输入到支持向量机中训练,其中类别标注为车辆体型的标注,并利用改进的粒子群方法来对支持向量机进行参数优化;2)识别过程包括如下步骤:2.1)提取车辆前景,对需要识别的车辆视频中提取图像序列进行混合高斯背景建模,进行滤波处理和膨胀腐蚀后得到二值化图像,计算车辆前景的最大外接矩形,得到车辆前景的坐标信息;2.2)对车辆前景按照步骤1.1)~1.5)进行计算得到该车辆图像的特征向量;2.3)将车辆图像的特征向量输入步骤1.6)参数优化后的支持向量机中,输出车辆体型的识别结果;所述的改进的粒子群方法为:在粒子群方法的速度更新式中,增加对粒子群中随机粒子的追随,速度位置更新公式为以下式6:<maths num="0003"><math><![CDATA[<mrow><mfenced open = "{" close = ""><mtable><mtr><mtd><mrow><msubsup><mi>v</mi><mi>i</mi><mrow><mi>t</mi><mo>+</mo><mn>1</mn></mrow></msubsup><mo>=</mo><mi>&omega;</mi><mo>&CenterDot;</mo><msubsup><mi>v</mi><mi>i</mi><mi>t</mi></msubsup><mo>+</mo><msub><mi>c</mi><mn>1</mn></msub><msub><mi>r</mi><mn>1</mn></msub><mrow><mo>(</mo><msubsup><mi>p</mi><mrow><mi>i</mi><mi>b</mi><mi>e</mi><mi>s</mi><mi>t</mi></mrow><mi>t</mi></msubsup><mo>-</mo><msubsup><mi>x</mi><mi>i</mi><mi>t</mi></msubsup><mo>)</mo></mrow><mo>+</mo><msub><mi>c</mi><mn>2</mn></msub><msub><mi>r</mi><mn>2</mn></msub><mrow><mo>(</mo><msubsup><mi>p</mi><mrow><mi>g</mi><mi>b</mi><mi>e</mi><mi>s</mi><mi>t</mi></mrow><mi>t</mi></msubsup><mo>-</mo><msubsup><mi>x</mi><mi>i</mi><mi>t</mi></msubsup><mo>)</mo></mrow><mo>+</mo><msub><mi>c</mi><mn>3</mn></msub><msub><mi>r</mi><mn>3</mn></msub><mrow><mo>(</mo><msubsup><mi>p</mi><mi>m</mi><mi>t</mi></msubsup><mo>-</mo><msubsup><mi>x</mi><mi>i</mi><mi>t</mi></msubsup><mo>)</mo></mrow></mrow></mtd></mtr><mtr><mtd><mrow><msubsup><mi>x</mi><mi>i</mi><mrow><mi>t</mi><mo>+</mo><mn>1</mn></mrow></msubsup><mo>=</mo><msubsup><mi>x</mi><mi>i</mi><mi>t</mi></msubsup><mo>+</mo><msubsup><mi>v</mi><mi>i</mi><mrow><mi>t</mi><mo>+</mo><mn>1</mn></mrow></msubsup></mrow></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001109633450000021.GIF" wi="2005" he="199" /></maths>其中,<img file="FDA0001109633450000022.GIF" wi="95" he="77" />为t+1时刻的飞行速度,<img file="FDA0001109633450000023.GIF" wi="53" he="76" />为t时刻的飞行速度,<img file="FDA0001109633450000024.GIF" wi="124" he="78" />为第i个粒子搜寻到的局部最优解,<img file="FDA0001109633450000025.GIF" wi="129" he="79" />为整个粒子群搜寻到的全局最优解,<img file="FDA0001109633450000026.GIF" wi="62" he="79" />为随机粒子在t时刻的局部最优解,<img file="FDA0001109633450000027.GIF" wi="54" he="78" />为t时刻第i个粒子的位置,<img file="FDA0001109633450000028.GIF" wi="94" he="80" />为t+1时刻第i个粒子的位置,ω为惯性权重,c<sub>1</sub>为第一学习因子,c<sub>2</sub>为第二学习因子,c<sub>3</sub>为第三学习因子,r<sub>1</sub>为第一控制参数,r<sub>2</sub>为第二控制参数,r<sub>3</sub>为第三控制参数;接着引入t时刻的动量项<img file="FDA0001109633450000029.GIF" wi="125" he="78" />改进后的粒子群方法如以下公式7:<maths num="0004"><math><![CDATA[<mrow><mfenced open = "{" close = ""><mtable><mtr><mtd><mrow><msubsup><mi>v</mi><mi>i</mi><mrow><mi>t</mi><mo>+</mo><mn>1</mn></mrow></msubsup><mo>=</mo><mi>&omega;</mi><mo>&CenterDot;</mo><msubsup><mi>v</mi><mi>i</mi><mi>t</mi></msubsup><mo>+</mo><msubsup><mi>&Delta;v</mi><mi>i</mi><mi>t</mi></msubsup><mo>+</mo><mi>&alpha;</mi><mo>&CenterDot;</mo><msubsup><mi>&Delta;v</mi><mi>i</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msubsup></mrow></mtd></mtr><mtr><mtd><mrow><msubsup><mi>x</mi><mi>i</mi><mrow><mi>t</mi><mo>+</mo><mn>1</mn></mrow></msubsup><mo>=</mo><msubsup><mi>x</mi><mi>i</mi><mi>t</mi></msubsup><mo>+</mo><msubsup><mi>v</mi><mi>i</mi><mrow><mi>t</mi><mo>+</mo><mn>1</mn></mrow></msubsup></mrow></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA00011096334500000210.GIF" wi="1414" he="198" /></maths>其中,<img file="FDA00011096334500000211.GIF" wi="324" he="76" />是粒子群方法中的t时刻的速度修正值,<img file="FDA00011096334500000212.GIF" wi="137" he="79" />为t‑1时刻的动量项,α为动量因子常数,其取值范围|α|∈[0,1),如果<img file="FDA00011096334500000213.GIF" wi="99" he="71" />和<img file="FDA00011096334500000214.GIF" wi="138" he="78" />同号,则动量因子常数α取正值;若<img file="FDA00011096334500000215.GIF" wi="94" he="78" />和<img file="FDA00011096334500000216.GIF" wi="134" he="78" />异号,此时动量因子常数α取负值;t时刻的动量项<img file="FDA00011096334500000217.GIF" wi="93" he="77" />表示为以下公式8:<maths num="0005"><math><![CDATA[<mrow><msubsup><mi>&Delta;v</mi><mi>i</mi><mi>t</mi></msubsup><mo>=</mo><msub><mi>c</mi><mn>1</mn></msub><msub><mi>r</mi><mn>1</mn></msub><mrow><mo>(</mo><msubsup><mi>p</mi><mrow><mi>i</mi><mi>b</mi><mi>e</mi><mi>s</mi><mi>t</mi></mrow><mi>t</mi></msubsup><mo>-</mo><msubsup><mi>x</mi><mi>i</mi><mi>t</mi></msubsup><mo>)</mo></mrow><mo>+</mo><msub><mi>c</mi><mn>2</mn></msub><msub><mi>r</mi><mn>2</mn></msub><mrow><mo>(</mo><msubsup><mi>p</mi><mrow><mi>g</mi><mi>b</mi><mi>e</mi><mi>s</mi><mi>t</mi></mrow><mi>t</mi></msubsup><mo>-</mo><msubsup><mi>x</mi><mi>i</mi><mi>t</mi></msubsup><mo>)</mo></mrow><mo>+</mo><msub><mi>c</mi><mn>3</mn></msub><msub><mi>r</mi><mn>3</mn></msub><mrow><mo>(</mo><msubsup><mi>p</mi><mi>i</mi><mi>t</mi></msubsup><mo>-</mo><msubsup><mi>x</mi><mi>i</mi><mi>t</mi></msubsup><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>8</mn><mo>)</mo></mrow><mo>.</mo></mrow>]]></math><img file="FDA00011096334500000218.GIF" wi="1712" he="86" /></maths>
地址 310058 浙江省杭州市西湖区余杭塘路866号