发明名称 一种光照环境变化情况下的行人目标匹配跟踪方法
摘要 本发明方法提出了一种光照环境变化情况下的行人目标匹配跟踪方法,该方法具体按照如下步骤实施:确定目标的特征范围;基于Retinex原理提取目标区域的反射分量;进行目标区域的颜色传递校正;进行目标基准模板与待匹配目标的特征提取;计算待匹配目标与目标基准的特征相似距离;最后进行行人目标的匹配跟踪判断。本发明的方法,根据Retinex原理,并进行颜色传递校正,降低光照环境变化对目标颜色特征的影响;将行人目标分为上半身与下半身求其颜色特征,以降低行人行走时姿态变化对目标颜色特征的影响;通过对多个特征的加权融合匹配,提高光照强度变化环境时行人目标匹配跟踪的准确性。
申请公布号 CN102592288B 申请公布日期 2014.07.02
申请号 CN201210001073.3 申请日期 2012.01.04
申请人 西安理工大学 发明人 朱虹;独盟盟;范彩霞;王栋;邢楠
分类号 G06T7/20(2006.01)I 主分类号 G06T7/20(2006.01)I
代理机构 西安弘理专利事务所 61214 代理人 李娜
主权项 1.一种光照环境变化情况下的行人目标匹配跟踪方法,其特征在于,该方法具体按照如下步骤实施: 步骤1、确定目标的特征范围 在提取目标物特征信息时,只选择行人目标的头部以下的主躯干部分,同时,由于目标在行走过程中腿部姿势变化比较大,将主躯干部分再细分为上半身和下半身两个部分, 假设所提取行人目标的外接矩形左上角和右下角坐标分别为(0,0)和(W,H),则外接矩形的宽和高分别为W和H,取人头以下的主躯干部分上半身的左上角坐标为(x<sub>1</sub>,y<sub>1</sub>),下半身的左上角坐标为(x<sub>2</sub>,y<sub>2</sub>),按照人体的结构特征进行估算: <img file="FDA0000460941470000011.GIF" wi="1202" he="157" /><img file="FDA0000460941470000012.GIF" wi="1214" he="158" />通过公式(1)和公式(2),就可以得到目标物主躯干部分的划分; 步骤2、基于Retinex原理提取目标区域的反射分量 对所有目标区域,提取其反射分量,具体方法如下: 设目标外接矩形区域为[f<sub>k</sub>(i,j)]<sub>W×H</sub>,其中,f<sub>k</sub>(i,j),k=R,G,B分别为目标区域在坐标为(i,j)上的红色、绿色及蓝色通道的像素值,W,H分别为行人目标外接矩形的行数与列数,即i=1,2,...,W,j=1,2,...,H; 设其反射分量为[r<sub>k</sub>(i,j)]<sub>W×H</sub>,照射分量为[l<sub>k</sub>(i,j)]<sub>W×H</sub>,根据Retinex原理则有: f<sub>k</sub>(i,j)=r<sub>k</sub>(i,j)·l<sub>k</sub>(i,j),i=1,2,...,W,j=1,2,...,H,k=R,G,B,(3) 在拍摄得到[f<sub>k</sub>(i,j)]<sub>W×H</sub>后,照射分量[l<sub>k</sub>(i,j)]<sub>W×H</sub>计算如下: l<sub>k</sub>(i,j)=g<sub>k</sub>(i,j)*f<sub>k</sub>(i,j),i=1,2,...,W,j=1,2,...,H,k=R,G,B,(4) 其中,g<sub>k</sub><sup>(i,j)</sup>为环绕函数,可由下式计算: <img file="FDA0000460941470000021.GIF" wi="442" he="207" />i=1,2,...,W,j=1,2,...,H,k=R,G,B,(5)其中,c为尺度常量,在室外环境下,其取值范围为c∈[60,90], 则反射分量[r<sub>k</sub>(i,j)]<sub>W×H</sub>计算如下: r<sub>k</sub>(i,j)=exp(log(f<sub>k</sub>(i,j))-log(l<sub>k</sub>(i,j))),(6) 其中的i=1,2,...,W,j=1,2,...,H,k=R,G,B; 步骤3、进行目标区域的颜色传递校正 设按照步骤2得到的目标基准模板的信息范围内的反射分量为[r<sub>k</sub><sup>ref</sup>(i,j)]<sub>W×H</sub>,k=R,G,B,在后续帧中检测到的某个目标区域,将其设为待匹配目标,其反射分量为[r<sub>k</sub><sup>reg</sup>(i,j)]<sub>W×H</sub>,k=R,G,B,对检测到的待匹配目标进行颜色传递,减小光照环境对相同目标颜色纹理的差异,具体步骤如下: 3.1)计算目标基准模板的反射量[r<sub>k</sub><sup>ref</sup>(i,j)]<sub>W×H</sub>,k=R,G,B的均值与标准差,同时计算待匹配目标的反射量[r<sub>k</sub><sup>reg</sup>(i,j)]<sub>W×H</sub>,k=R,G,B的均值与标准差: <img file="FDA0000460941470000022.GIF" wi="643" he="147" />k=R,G,B,(7)<img file="FDA0000460941470000023.GIF" wi="872" he="164" />k=R,G,B,(8)<img file="FDA0000460941470000024.GIF" wi="647" he="147" />k=R,G,B,(9)<img file="FDA0000460941470000025.GIF" wi="872" he="164" />k=R,G,B,(10)3.2)对待匹配目标的反射量进行颜色传递调整如下: <img file="FDA0000460941470000036.GIF" wi="1662" he="157" />其中的i=1,2,...,W,j=1,2,...,H,k=R,G,B; 步骤4、进行目标基准模板与待匹配目标的特征提取 4.1)转换色系 将目标的基准模板的反射分量[r<sub>k</sub><sup>ref</sup>(i,j)]<sub>W×H</sub>,以及经过步骤3得到的待匹配目标的经过颜色传递处理后的反射分量<img file="FDA0000460941470000031.GIF" wi="314" he="75" />转换到HSV色系,设转换后的目标基准模板为<img file="FDA0000460941470000032.GIF" wi="338" he="82" />k=H,S,V,待匹配目标为[f<sub>k</sub><sup>reg</sup>(i,j)]<sub>W×H</sub>,k=H,S,V,4.2)求颜色直方图 分别将目标基准模板[f<sub>k</sub><sup>ref</sup>(i,j)]<sub>W×H</sub>和待匹配目标<img file="FDA0000460941470000033.GIF" wi="295" he="73" />分为上半身和下半身后,将H,S,V各个分量进行N等分,之后,分别求其上半身与下半身的各个分量的颜色特征矢量,其分别表示为:<img file="FDA0000460941470000037.GIF" wi="1765" he="88" /><img file="FDA0000460941470000038.GIF" wi="1852" he="90" />和<img file="FDA0000460941470000039.GIF" wi="913" he="76" />分别计算如下:<img file="FDA0000460941470000034.GIF" wi="456" he="132" />i=1,2,...,N,k=H,S,V,s=ref,reg,(12)<img file="FDA0000460941470000035.GIF" wi="456" he="132" />i=1,2,...,N,k=H,S,V,s=ref,reg,(13)其中,N为统计颜色分布时对H,S,V的等分数,其取值范围为N∈[10,30];<img file="FDA00004609414700000310.GIF" wi="167" he="75" />为上半身颜色分量进行N等分后,属于第i等分范围内的像素个数;<img file="FDA00004609414700000311.GIF" wi="167" he="72" />为下半身颜色分量进行N等分后,属于第i等分范围内的像素个数;步骤5、计算待匹配目标与目标基准的特征相似距离 5.1)计算H,S,V三个颜色通道的相似距离 采用Bhattacharyya相似距离度量公式计算待匹配目标上、下半身的颜色特征矢量<img file="FDA0000460941470000045.GIF" wi="145" he="79" />及<img file="FDA0000460941470000046.GIF" wi="166" he="73" />与目标基准模板上、下半身的颜色特征矢量<img file="FDA0000460941470000047.GIF" wi="144" he="78" />及<img file="FDA0000460941470000048.GIF" wi="139" he="80" />间的相似距离:<img file="FDA0000460941470000041.GIF" wi="1069" he="99" />k=H,S,V,(14)其中的<img file="FDA0000460941470000042.GIF" wi="1537" he="144" /><img file="FDA0000460941470000043.GIF" wi="1067" he="100" />k=H,S,V,(16)其中的<img file="FDA0000460941470000044.GIF" wi="939" he="149" />k=H,S,V,(17)5.2)计算H,S,V三个颜色分量的加权平均相似距离 对公式(14),(16)计算得到的三个颜色分量的Bhattacharyya相似距离量,进行加权平均计算如下: d|<sub>上</sub>=α<sub>1</sub>·d<sub>H</sub>|<sub>上</sub>+α<sub>2</sub>·d<sub>S</sub>|<sub>上</sub>+α<sub>3</sub>·d<sub>V</sub>|<sub>上</sub>,(18) d|<sub>下</sub>=α<sub>1</sub>·d<sub>H</sub>|<sub>下</sub>+α<sub>2</sub>·d<sub>S</sub>|<sub>下</sub>+α<sub>3</sub>·d<sub>V</sub>|<sub>下</sub>,(19) 其中,α<sub>1</sub>,α<sub>2</sub>,α<sub>3</sub>分别为色度H、饱和度S和亮度V的相似度的Bhattacharyya相似距离的加权平均的权值,α<sub>1</sub>+α<sub>2</sub>+α<sub>3</sub>=1; 5.3)计算待匹配目标与目标基准模板的相似距离 对按照公式(18)和(19)计算得到的上、下半身的颜色相似距离,对其进行加权平均,求出待匹配目标与目标基准模板间的相似距离,计算如下: d=β<sub>1</sub>·d|<sub>上</sub>+β<sub>2</sub>·d|<sub>下</sub>,(20) 其中,β<sub>1</sub>、β<sub>2</sub>分别为上半身、下半身相似距离的加权平均的权值,β<sub>1</sub>+β<sub>2</sub>=1; 步骤6、行人目标的匹配跟踪 将当前帧图像中所有检测出的目标,均作为待匹配目标,与目标基准模板按照前面的步骤进行相似距离的计算,选择其中相似距离最小的那个待检测目标,并进行匹配判断: 如果d≤Th,则该待匹配目标与目标基准模板属于同一目标,这时,将该匹配上的待匹配目标作为新的目标基准模板,进行下一帧的匹配跟踪; 如果d>Th,则表明该目标已走出监视视场,对该目标的匹配跟踪任务结束; Th为判断阈值,阈值的选取范围Th∈[0.2,0.4]。 
地址 710048 陕西省西安市金花南路5号