基于人体部件位置约束的细粒度语义色彩行人重识别方法

摘要

本发明公开了一种基于人体部件位置约束的细粒度语义色彩行人重识别方法，属于监控视频检索技术领域，本发明通过引入细粒度色彩表示和人体部件位置约束关系实现对基于语义色彩的行人重识别效果的提升。首先将图像检索中的词袋模型（BOW）与语义颜色特征表示方法结合，从而细化色彩区间，增加色彩种类，本发明称之为细粒度色彩模型。其次在细粒度色彩表示模型中引入三种细化的人体位置约束，分别是位置权重，上下约束以及漂移矫正，主要通过三种形式实现：高斯模板、划分为水平条纹、通过滑动窗形成重叠水平条纹。每一步的有效性都在VIPeR和CUHK数据集上得到了有效证明。同时表明语义特征是对视觉特征的一个很好的补充，并能进一步提升行人重识别效果。

主权项

一种基于人体部件位置约束的细粒度语义色彩行人重识别方法，其特征在于：包括离线处理过程、在线处理过程两个阶段；步骤1：离线处理过程，即在训练数据集上进行训练，是将所有图像分成无数个无序的n×n的局部块，每块提取其颜色特征，并用K近邻方法对其聚类，类别总数K即是码本的尺寸，每一类称之为一个码词，那么每个图像块便可以用若干个这样的码词表示；步骤2：在线处理过程，包括行人特征表示和行人距离度量两个步骤；所述行人特征表示又包括行人细粒度语义色彩表示和基于人体部件位置约束的行人细粒度语义色彩表示两个子步骤；所述行人细粒度语义色彩表示的实现过程，是计算每个行人图像块的颜色特征与码本中每个码词的欧式距离，其中距离的倒数表示为该码词的发生概率，即码词系数，这样每个颜色块就能用K个码词去表示，从而得到细粒度语义色彩模型；所述基于人体部件位置约束的行人细粒度语义色彩表示的实现，包括以下子步骤：步骤2.1：确定位置权重，按照图像块位于图像中的位置给以其不同的权重；通过给2D行人图像特征附加基于距离的高斯模板，给每个局部块特征赋予不同的高斯权重，高斯模板形式为：N(μ_x,σ_x,μ_y,σ_y)，x,y分别表示行人图像的横纵坐标，μ_x,μ_y分别表示行人图像水平和垂直的高斯均值，σ_x,σ_y分别表示行人图像水平和垂直的高斯标准差；步骤2.2：进行上下约束；通过将行人图像按条分割、按条度量特征间距离，将行人图像等分成M个水平条纹，这些水平条纹由若干个不同的局部块组成，基于步骤1和步骤2.1，每个图像局部块能表示为h＝(h₁,h₂,…,h_MA,…,h_k)，h代表局部块中所有码词的发生率，也即带权重的距离的倒数，k是码本总数；检测每段条纹中所有水平位置块，并将对应水平块中对应码词系数相加，那么第m个条纹的特征直方图能表示为d^m，行人图像的颜色特征表示为f＝(d¹,d²,…,d^m,…,d^M)^T，d^m第m个条纹的特征直方图，f为所有水平条纹特征的集合；步骤2.3：进行漂移矫正，通过同时匹配对应位置周围的行人特征从而减少因位置漂移引起的特征误匹配；每个行人图像的颜色特征表示为f，此时，选择窗口，其长度u为图像长度，宽度v为t个水平条纹的宽度，t≥1，窗口步长为l，行人颜色特征能表示为个重叠的水平条纹，即行人颜色特征直方图进一步由f＝(d¹,d²,…,d^m,…,d^M)^T，表示为dⁱ表示水平条纹中码词对应发生率相加的结果，其中dⁱ和dⁱ⁺¹所对应条纹间存在特征重叠。