一种基于图像集的目标跟踪算法

摘要

本发明公开了一种基于图像集的目标跟踪算法，包括初始化阶段，用于建立目标模型的训练阶段，用于根据所建立的目标模型测试出指定目标物体的中心位置的测试阶段，和更新阶段。本发明采用图像集作为目标跟踪过程中训练样本和测试样本的基本单位，并在核偏最小二乘法的框架下，将目标跟踪问题视为一个多类别的分类问题，从而能够有效缓解跟踪器的“漂移”问题。

主权项

一种基于图像集的目标跟踪算法，其特征在于，包括初始化阶段，用于建立目标模型的训练阶段，用于根据所建立的目标模型测试出指定目标物体的中心位置的测试阶段，和更新阶段；所述初始化阶段包括：提取一帧图像，人为指定该图像中的目标物体和多个非目标物体，并人为获取一个正例类别图像集和多个负例类别图像集；所述正例类别图像集为从当前一帧图像中提取的多个包含所述人为指定该图像中的目标物体的图像块所构成的集合，其中所有图像块均标记为静态图像块；其中一个负例类别图像集为从当前一帧图像中提取的多个包含其中一个指定的非目标物体的图像块所构成的集合；不同的负例类别图像集中的图像块所包含的非目标物体不同；所提取的所有图像块大小均一致；将所指定的目标物体的中心位置设为当前位置；然后转入训练阶段；所述训练阶段包括：A1、将当前所获取的正例类别图像集构造成一个样本矩阵，并将该样本矩阵的类别标记为目标类；分别将当前所获取的每个负例类别图像集均构造成一个样本矩阵，并将这些样本矩阵的类别依次标记为第1非目标类、第2非目标类、…；当前所获取的正例类别图像集所生成的样本矩阵为该正例类别图像集中所有图像块的d维特征向量的协方差矩阵，其中d属于正整数；当前其中一个负例类别图像集所生成的样本矩阵为该负例类别图像集中所有图像块的d维特征向量的协方差矩阵；A2、建立一个训练集合，该训练集合由当前所获取的所有样本矩阵构成；设定该训练集合中的样本矩阵个数为m个，其中m属于正整数，并将该训练集合中的样本矩阵分别记为C₁，C₂，…，C_m，其中C_i∈R^d×d(i＝1,2，…m)；将该训练集合中的每个样本矩阵均转换为一个样本列向量，得到m个样本列向量分别为x₁，x₂，…，x_m，分别对应C₁，C₂，…，C_m；其中，由C_i的矩阵元素从上到下从左到右串起来而生成；然后设定C₁和C₂的黎曼核函数分别为和得出和之间满足A3、分别将C₁，C₂，…，C_m的各类别用列向量形式表示，得到m个类别列向量分别为y₁，y₂，…，y_m，分别对应C₁，C₂，…，C_m，并分别对应x₁，x₂，…，x_m；其中，y_i＝[0,0,...,1,...,0]^T(i＝1,2，…m)，是除了第k(k＝1,2，…m)个元素为1之外，其余全为0的向量；当k＝1时，其含义表示C_i或x_i属于目标类；当1<k≤m时，其含义表示C_i或x_i属于第k‑1非目标类；然后设定X＝[x₁,x₂,...,x_m]^T，并设定Y＝[y₁,y₂,...,y_m]^T作为X的类别矩阵；之后根据偏最小二乘回归，将X和Y分解成：$\begin{array}{c}X={\mathrm{TP}}^T+E\\ Y={\mathrm{UQ}}^T+F\end{array}---\left(2\right)$其中，T和U都是m×p的矩阵，包含了p个隐藏向量，P为d²×p的矩阵，Q为m×p的矩阵，E和F为残差矩阵；A4、基于非线性迭代的偏最小二乘回归，计算出X和Y之间的回归系数为：B＝X^TU(T^TXX^TU)^‑1T^TY            (3)设定一个黎曼核矩阵并设定M＝φφ^T；将φ代入式(3)中的X，得出φ和Y之间的回归系数为：B_φ＝φ^TU(T^TMU)^‑1T^TY            (4)然后基于B_φ建立所述目标模型为：$y_t^T={\left[\phi \left(c_t\right)\right]}^T{B}_{\phi }=M_t^{T}U{\left(T^{T}MU\right)}^{-1}{T}^{T}Y---\left(5\right)$其中是一个需要预测类别的样本列向量，该样本列向量是由一个需要预测类别的样本矩阵的矩阵元素从上到下从左到右串起来而得到，而该样本矩阵是一个需要预测类别的图像集中所有图像块的d维特征向量的协方差矩阵；M_t是M中的一个元素；y_t＝[β,γ₁,γ₂,...,γ_m‑1]^T为根据所述目标模型计算得出的c_t的类别列向量；其中，β表示c_t属于目标类的概率，γ_i(i＝1,...,m‑1)表示c_t属于第i非目标类的概率；然后转入测试阶段；所述测试阶段包括：B1、提取下一帧图像，设定该图像上以所述当前位置为中心、以指定半径长度为半径的圆形区域为该图像的搜索区域；转入步骤B2；B2、在当前一帧图像的搜索区域中选取至少一个位置，作为当前一帧图像的测试位置；对于当前一帧图像的每个测试位置，在距离该测试位置小于一个预设值的周围选取多个位置，作为该测试位置的周围位置，分别以该测试位置及其周围位置为中心提取图像块，作为该测试位置的测试图像块，并将这些测试图像块构成一个集合，作为该测试位置的测试图像集；所述测试图像集中的所有测试图像块大小均一致，且与所述初始化阶段中正例类别图像集或负例类别图像集内的图像块大小一致；转入步骤B3；B3、分别将当前所获取的每个测试图像集均构造成一个样本矩阵，其中一个测试图像集所生成的样本矩阵为该测试图像集中所有测试图像块的d维特征向量的协方差矩阵；分别将所获取的每个测试图像集的样本矩阵均转换为一个样本列向量，其中一个测试图像集的样本列向量由该测试图像集的样本矩阵的矩阵元素从上到下从左到右串起来而生成；然后分别将这些样本列向量代入当前所建立的目标模型中，得到其类别列向量；转入步骤B4；B4、选取这些类别列向量中与所述目标类样本矩阵的类别列向量最接近的一个，若该类别列向量与所述目标类样本矩阵的类别列向量的差值大于预设的阈值，则舍弃当前所获取的所有测试图像集，并转入步骤B2；若该类别列向量与所述目标类样本矩阵的类别列向量的差值小于或等于预设的阈值，则转入更新阶段；所述更新阶段包括：C1、将所述当前位置更新为所选取的类别列向量所对应的测试图像集的测试位置，并记录跟踪；若当前所述正例类别图像集中的所有图像块均为静态图像块，则将该测试图像集中的所有图像块均添加入所述正例类别图像集中；若当前所述正例类别图像集中不只包含所述静态图像块，则将所述正例类别图像集中所有非静态图像块依次替换为该测试图像集中的图像块；C2、排除所述当前位置，在当前一帧图像的搜索区域中随机选取多个位置，作为当前一帧图像的非目标物体位置；针对当前一帧图像的每个非目标物体位置，在距离该非目标物体位置小于所述预设值的周围选取多个位置，作为该非目标物体位置的周围位置，分别以该非目标物体位置及其周围位置为中心提取图像块，然后将这些图像块构成一个负例类别图像集，其中，这些图像块的大小均与所述初始化阶段中正例类别图像集或负例类别图像集的图像块大小一致；将上一帧图像的负例类别图像集依次替换为当前一帧图像所产生的负例类别图像集；转入训练阶段。