基于图论聚类和色彩不变空间的目标跟踪方法

摘要

基于图论聚类和色彩不变空间的目标跟踪方法，包括以下步骤：1)对视频流的图像进行色彩不变空间转换，用色彩不变特征CSIFT特征提取特征点；2)特征的图论运动聚类，具有相同运动趋势的特征点属于相同运动状态的目标，由特征点跟踪到视频帧中的目标。本发明采用局部不变特征，摒弃全局特征的盲目性；实现色彩不变特征CSIFT提取，在保持SIFT特征几何不变性优势的同时增加了色彩不变性，从灰度特征空间提升为彩色空间；针对静止背景下的运动物体，将图论思想融入匹配，将特征运动分类作为匹配的预处理，使匹配操作更加准确、快速。

主权项

1.基于图论聚类和色彩不变空间的目标跟踪方法，其特征是包括以下步骤：1）对视频流的图像进行色彩不变空间转换，进行色彩不变特征CSIFT特征提取，检测提取色彩不变、尺度不变特征，计算不变量特征向量；2）特征的图论运动聚类：基于图论，根据特征运动趋势对视频帧进行特征点的聚类，以当前帧为参考图像，后一帧为待匹配图像，以这两帧的CSIFT特征点作为图的节点，获取色彩不变图像下各节点的运动趋势信息，以每两个节点的运动趋势相似度为节点间边的权重，对两帧中的节点同时进行聚类，具有相同运动趋势的特征点属于相同运动状态的目标，通过特征点聚类将相邻两帧视频帧中的同一目标分割出来，实现对视频帧中目标的跟踪；目标跟踪具体为：a)图像预处理，对视频流的帧图像背景建模，去除背景影响；b）依照Kubelka-Munk理论进行色彩不变空间转换，对参考图像I₁(x,y)和待匹配图像I₂(x,y)分别求出色彩不变量H₁(x,y)和H₂(x,y)，以色彩不变量代替图像的灰度值；c）CSIFT特征检测，在色彩不变空间中对H₁,H₂用SIFT算法提取特征，并生成色彩不变空间下的SIFT描述子，即CSIFT特征点描述子，包含特征点的坐标、尺度、主方向及128维特征向量信息，在彩色图像上标识；d）图论的运动聚类，基于图论，对视频帧的特征点进行聚类，对相邻两帧中的特征点建立图，进行聚类分类，将检测出的CSIFT特征点作为节点，定义其运动矢量，表征该点运动趋势的概率分布，并将某两个像素运动趋势的相似性反映在边的权重上；采用色彩空间变换后的图像代替灰度图像，以色彩不变量H代替灰度值进行计算，H^t(X)表示t时刻视频帧二维空间中以特征点X为中心的运算窗体，P_i(dx)表示第i个节点X_i对应下一帧运动dx的概率，Dx表示第i个节点所有可能的运动偏移方向；计算P_i(dx)，先计算H^t(X_i)和H^t+1(X_i+dx)的相似度S_i(dx)，如式(1)，其中w属于视频帧二维空间，是H^t(X_i)的局部邻域：$S_i\left(\mathrm{dx}\right)=\exp (-\underset{w}{\Sigma (H^t(\mathrm{Xi}+w)-H^{t+1}{(X_i+\mathrm{dx}+w))}^2/}\sigma {\mathrm{SSD}}^2)---\left(1\right)$σ_SSD是点X_i对所有dx，式(H^t(X_i+w)-H^t+1(X_i+dx+w))的标准差，将式(1)归一化为概率分布：$P_i\left(\mathrm{dx}\right)=\frac{S_i\left(\mathrm{dx}\right)}{{\Sigma }_{\mathrm{dx}}{S}_i\left(\mathrm{dx}\right)}---\left(2\right)$以两个运动趋势的互相关来检测运动相似度，将视频帧中i,j两节点的距离定义为：$d(i,j)=1-\underset{\mathrm{dx}}{\Sigma }{P}_i\left(\mathrm{dx}\right)P_j\left(\mathrm{dx}\right)---\left(3\right)$则边(i,j)的权重为：w_ij＝exp(-d(i,j)/σ_m²)  (4)σ_m²是图中所有d(i,j)的方差；设d(i)=∑_jw_ij是节点X_i与其他所有节点的连接，设视频帧为图G，特征点点集V，将其分为两个点集A,B,A∪B=V,归一化分割，表示为：$\mathrm{Ncut}(A,B)=\frac{\mathrm{cut}(A,B)}{\mathrm{asso}(A,V)}+\frac{\mathrm{cut}(A,B)}{\mathrm{asso}(B,V)}---\left(5\right)$其中是A,B两部分的差异程度大小，N是图中节点的总个数，asso(A,V)=∑_u∈A，_t∈Vw(u,t)是A中节点与图中所有节点的权重和，asso(B,V)是B中节点与图中所有节点的权重和；设D是以d(i)为对角元素的N×N对角矩阵：$D=\left[\begin{array}{ccccc}d\left(1\right)& 0& 0& 0& 0\\ 0& d\left(2\right)& 0& 0& 0\\ 0& 0& ...& 0& 0\\ 0& 0& 0& d(N-1)& 0\\ 0& 0& 0& 0& d\left(N\right)\end{array}\right]$W是N×N的对称矩阵，W(i,j)＝w_ij；得到瑞利商描述式(6)，${\min }_x\mathrm{Ncut}\left(x\right)={\min }_y\frac{y^T(D-W)y}{y^T\mathrm{Dy}}---\left(6\right)$通过求解广义特征值方程式(7)间接获得瑞利商：(D-W)y＝λDy  (7)求解广义特征值方程式(D-W)y＝λDy，将广义特征方程变换为标准特征方程，其中利用广义特征值方程式第二小的特征值对图进行二分，分析分类后的稳定性，决定是否需要细分，若要细分使用下一小的特征向量递归分割，直到不需要细分为止，最终得到的各类别的特征点集就是分别属于不同运动目标的，通过特征点集的位置确定目标的位置，实现对目标的跟踪。