发明名称 一种基于双角度排序优化的行人重识别方法
摘要 本发明公开了一种基于双角度排序优化的行人重识别方法,属于监控视频检索技术领域。本发明首先通过基于全局特征和局部特征的方法得到初始的排序结果;然后通过取两者排序结果的前k个结果的交集<img file="DDA0000567340510000011.GIF" wi="156" he="84" />作为初始查询更可靠的最近邻;再然后对<img file="DDA0000567340510000012.GIF" wi="160" he="80" />里的每一个目标<img file="DDA0000567340510000013.GIF" wi="110" he="69" />作为新的查询进行交叉的反向查询,通过加权融合反向查询的排序列表得到整个优化的排序列表;最后再对<img file="DDA0000567340510000014.GIF" wi="164" he="83" />里的每个<img file="DDA0000567340510000015.GIF" wi="120" he="70" />去构建一个双层图,计算图的近邻相似性去对<img file="DDA0000567340510000016.GIF" wi="156" he="84" />进行进一步的重排,进而得到更好的重识别效果。
申请公布号 CN104200206A 申请公布日期 2014.12.10
申请号 CN201410454857.0 申请日期 2014.09.09
申请人 武汉大学 发明人 胡瑞敏;叶茫;梁超;冷清明;王正;陈军;潘逸飞
分类号 G06K9/00(2006.01)I 主分类号 G06K9/00(2006.01)I
代理机构 武汉科皓知识产权代理事务所(特殊普通合伙) 42222 代理人 薛玲
主权项 一种基于双角度排序优化的行人重识别方法,其特征在于,包括以下步骤:步骤1:针对一个特定的查询p,分别通过基于全局特征描述方法和局部特征描述方法得到p的排序列表RL<sup>g</sup>(p)和RL<sup>l</sup>(p),通过对两个排序列表的前k个结果取交集,得到他们双方都认同的最近邻<img file="FDA0000567340480000011.GIF" wi="774" he="87" />即共同最近邻有k<sub>c</sub>个;步骤2:对<img file="FDA0000567340480000012.GIF" wi="156" he="82" />里的每一个最近邻<img file="FDA0000567340480000013.GIF" wi="115" he="68" />作为一个新的查询,保留原先的待查集,进行交叉的反向查询;其具体实现包括以下子步骤:步骤2.1:对于全局特征描述方法,对<img file="FDA0000567340480000014.GIF" wi="114" he="67" />进行反向查询时,用基于局部特征描述方法去查询,得到一个新的排序列表<img file="FDA0000567340480000015.GIF" wi="197" he="98" />因此可以得到k<sub>c</sub>个新的反向排序列表,即对于全局特征描述方法而言,可以得到共k<sub>c</sub>+1个排序列表,<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><msup><mi>RL</mi><msup><mi>g</mi><mo>*</mo></msup></msup><mrow><mo>(</mo><mi>p</mi><mo>)</mo></mrow><mo>=</mo><mo>{</mo><msup><mi>RL</mi><mi>g</mi></msup><mrow><mo>(</mo><mi>p</mi><mo>)</mo></mrow><mo>,</mo><msubsup><mi>RL</mi><mrow><mo>(</mo><msub><mi>g</mi><mrow><msub><mi>K</mi><mi>c</mi></msub><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow></msub><mo>)</mo></mrow><msup><mi>l</mi><mo>&prime;</mo></msup></msubsup><mo>,</mo><msubsup><mi>RL</mi><mrow><mo>(</mo><msub><mi>g</mi><mrow><msub><mi>K</mi><mi>c</mi></msub><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow></msub><mo>)</mo></mrow><msup><mi>l</mi><mo>&prime;</mo></msup></msubsup><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><msubsup><mi>RL</mi><mrow><mo>(</mo><msub><mi>g</mi><mrow><msub><mi>K</mi><mi>c</mi></msub><mrow><mo>(</mo><msub><mi>k</mi><mi>c</mi></msub><mo>)</mo></mrow></mrow></msub><mo>)</mo></mrow><msup><mi>l</mi><mo>&prime;</mo></msup></msubsup><mo>}</mo><mo>;</mo></mrow>]]></math><img file="FDA0000567340480000016.GIF" wi="1108" he="106" /></maths>步骤2.2:对于局部特征描述方法,对<img file="FDA0000567340480000017.GIF" wi="116" he="68" />进行反向查询时,用基于全局特征描述方法去查询,得到一个新的排序列表<img file="FDA0000567340480000018.GIF" wi="199" he="98" />因此可以得到k<sub>c</sub>个新的反向排序列表,即对于局部特征描述方法而言,可以得到共k<sub>c</sub>+1个排序列表,<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><msup><mi>RL</mi><msup><mi>l</mi><mo>*</mo></msup></msup><mrow><mo>(</mo><mi>p</mi><mo>)</mo></mrow><mo>=</mo><mo>{</mo><msup><mi>RL</mi><mi>l</mi></msup><mrow><mo>(</mo><mi>p</mi><mo>)</mo></mrow><mo>,</mo><msubsup><mi>RL</mi><mrow><mo>(</mo><msub><mi>g</mi><mrow><msub><mi>K</mi><mi>c</mi></msub><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow></msub><mo>)</mo></mrow><msup><mi>g</mi><mo>&prime;</mo></msup></msubsup><mo>,</mo><msubsup><mi>RL</mi><mrow><mo>(</mo><msub><mi>g</mi><mrow><msub><mi>K</mi><mi>c</mi></msub><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow></msub><mo>)</mo></mrow><msup><mi>g</mi><mo>&prime;</mo></msup></msubsup><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><msubsup><mi>RL</mi><mrow><mo>(</mo><msub><mi>g</mi><mrow><msub><mi>K</mi><mi>c</mi></msub><mrow><mo>(</mo><msub><mi>k</mi><mi>c</mi></msub><mo>)</mo></mrow></mrow></msub><mo>)</mo></mrow><msup><mi>g</mi><mo>&prime;</mo></msup></msubsup><mo>}</mo><mo>;</mo></mrow>]]></math><img file="FDA0000567340480000019.GIF" wi="1088" he="106" /></maths>步骤3:对于全局特征描述方法,每个新的查询<img file="FDA00005673404800000110.GIF" wi="120" he="78" />和它的排序列表<img file="FDA00005673404800000111.GIF" wi="193" he="100" />根据新的排序列表与初始排序列表RL<sup>g</sup>(p)的前k个的相似性,计算每个<img file="FDA00005673404800000112.GIF" wi="116" he="70" />的排序列表赋的权重<img file="FDA00005673404800000113.GIF" wi="242" he="84" />对于局部特征描述方法,每个新的查询<img file="FDA00005673404800000114.GIF" wi="114" he="71" />和它的排序列表<img file="FDA00005673404800000115.GIF" wi="199" he="94" />根据新的排序列表与初始排序列表RL<sup>l</sup>(p)的前k个的相似性,计算每个<img file="FDA00005673404800000116.GIF" wi="120" he="69" />的排序列表赋的权重<img file="FDA00005673404800000117.GIF" wi="236" he="86" />步骤4:对于全局特征描述方法,通过对新的k<sub>c</sub>+1个排序列表进行加权融合,可以得到优化后的排序列表<img file="FDA0000567340480000021.GIF" wi="189" he="100" /><maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><msup><mi>RL</mi><msup><mi>g</mi><mo>*</mo></msup></msup><mrow><mo>(</mo><mi>p</mi><mo>)</mo></mrow><mo>=</mo><msup><mi>RL</mi><mi>g</mi></msup><mrow><mo>(</mo><mi>p</mi><mo>)</mo></mrow><mo>+</mo><munderover><mi>&Sigma;</mi><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><msub><mi>k</mi><mi>c</mi></msub></munderover><msup><mi>w</mi><mi>g</mi></msup><mrow><mo>(</mo><msub><mi>g</mi><mrow><msub><mi>K</mi><mi>c</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow></mrow></msub><mo>)</mo></mrow><mo>*</mo><msubsup><mi>RL</mi><mrow><mo>(</mo><msub><mi>g</mi><mrow><msub><mi>K</mi><mi>c</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow></mrow></msub><mo>)</mo></mrow><msup><mi>l</mi><mo>&prime;</mo></msup></msubsup><mo>;</mo></mrow>]]></math><img file="FDA0000567340480000022.GIF" wi="914" he="152" /></maths>对于局部特征描述方法,通过对新的k<sub>c</sub>+1个排序列表进行加权融合,可以得到优化后的排序列表<img file="FDA0000567340480000023.GIF" wi="194" he="100" /><maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><msup><mi>RL</mi><msup><mi>l</mi><mo>*</mo></msup></msup><mrow><mo>(</mo><mi>p</mi><mo>)</mo></mrow><mo>=</mo><msup><mi>RL</mi><mi>l</mi></msup><mrow><mo>(</mo><mi>p</mi><mo>)</mo></mrow><mo>+</mo><munderover><mi>&Sigma;</mi><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><msub><mi>k</mi><mi>c</mi></msub></munderover><msup><mi>w</mi><mi>l</mi></msup><mrow><mo>(</mo><msub><mi>g</mi><mrow><msub><mi>K</mi><mi>c</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow></mrow></msub><mo>)</mo></mrow><mo>*</mo><msubsup><mi>RL</mi><mrow><mo>(</mo><msub><mi>g</mi><mrow><msub><mi>K</mi><mi>c</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow></mrow></msub><mo>)</mo></mrow><msup><mi>g</mi><mo>&prime;</mo></msup></msubsup><mo>;</mo></mrow>]]></math><img file="FDA0000567340480000024.GIF" wi="885" he="154" /></maths>对两种优化后的排序列表进行融合,得到交叉反向查询的排序融合排序列表RL<sup>*</sup>(p),<maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><msup><mi>RL</mi><mo>*</mo></msup><mrow><mo>(</mo><mi>p</mi><mo>)</mo></mrow><mo>=</mo><mi>&alpha;</mi><msup><mi>RL</mi><msup><mi>g</mi><mo>*</mo></msup></msup><mrow><mo>(</mo><mi>p</mi><mo>)</mo></mrow><mo>+</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mi>&alpha;</mi><mo>)</mo></mrow><msup><mi>RL</mi><msup><mi>l</mi><mo>*</mo></msup></msup><mrow><mo>(</mo><mi>p</mi><mo>)</mo></mrow><mo>;</mo></mrow>]]></math><img file="FDA0000567340480000025.GIF" wi="749" he="86" /></maths>其中,α表示融合的权重;步骤5:对<img file="FDA0000567340480000026.GIF" wi="151" he="85" />中的每一个行人<img file="FDA0000567340480000027.GIF" wi="119" he="74" />构建一个双层图Graph=&lt;G,E,w&gt;,根据其进行重排,第一层采用初始的基于全局特征描述方法得到的top‑k个结果,第二层采用局部特征描述方法,取top‑k结果,计算两层的Jaccard相似度,对<img file="FDA0000567340480000028.GIF" wi="156" he="82" />中进行重排,并输出排序优化的结果。
地址 430072 湖北省武汉市武昌区珞珈山武汉大学