基于样本重选择的目标跟踪方法

摘要

本发明公开了一种基于样本重选择的目标跟踪方法，主要解决当目标发生外观形变、光照变化、快速运动而导致跟踪失败的跟踪问题。本发明实现的步骤如下：（1）预处理第一帧图像；（2）计算样本的先验概率；（3）构建弱分类器；（4）构建强分类器；（5）更新弱分类器模型；（6）预测当前帧目标框位置；（7）计算精确样本的先验概率；（8）更新分类器模型；（9）判断是否为最后一帧图像，若是，则结束，否则，返回步骤（6）处理下一帧图像。本发明通过样本重选择和计算样本的先验概率的方法构建分类器，增强了分类器模型的稳定性，提高了分类器的预测准确率，从而增强了目标跟踪的准确性和可靠性。

主权项

一种基于样本重选择的目标跟踪方法，包括如下步骤：(1)预处理第一帧图像：(1a)输入一段待跟踪视频图像序列中的第一帧图像，将第一帧图像作为当前帧图像；(1b)在当前帧图像中将待跟踪目标用矩形框框出，将矩形框的位置作为待跟踪目标的初始位置，将矩形框框出的图像区域作为模板目标；(2)计算样本的先验概率：(2a)在当前帧图像中，以待跟踪目标的初始位置为中心，取出与待跟踪目标的初始位置大小相同的多个矩形框，将这些矩形框作为样本；(2b)提取样本的Haar特征；(2c)采用直方图均衡化方法，得到模板目标的均衡化直方图；(2d)在当前帧图像中样本的左上角的3×3邻域内，获取与样本大小相同的9个图像块，采用直方图均衡化方法，得到这9个图像块的均衡化直方图，采用相关系数公式，计算这9个图像块的均衡化直方图与模板目标的均衡化直方图的9个相关系数；(2e)求9个相关系数的平均值，将该平均值作为样本的先验概率；(3)构建弱分类器：(3a)将高斯参数中的均值初始化为0，高斯参数中的方差初始化为1，完成了样本的高斯参数初始化；(3b)采用更新参数公式中样本的Haar特征，分别更新样本中正样本的高斯参数和负样本的高斯参数；所述更新参数的公式如下：${\mu }_1\leftarrow {\mathrm{\gamma \mu }}_1+(1-\gamma )\frac{1}{n}\underset{i|y_i=1}{\Sigma }f\left(x_i\right)$${\sigma }_1\leftarrow {\mathrm{\gamma \sigma }}_1+(1-\gamma )\sqrt{\frac{1}{n}\underset{i|y_i=1}{\Sigma }{\left(f\right(x_i)-{\mu }_1)}^2}$${\mu }_0\leftarrow {\mathrm{\gamma \mu }}_0+(1-\gamma )\frac{1}{n}\underset{i|y_i=0}{\Sigma }f\left(x_i\right)$${\sigma }_0\leftarrow {\mathrm{\gamma \sigma }}_0+(1-\gamma )\sqrt{\frac{1}{n}\underset{i|y_i=0}{\Sigma }{\left(f\right(x_i)-{\mu }_0)}^2}$其中，μ₁表示正样本的均值，γ表示更新系数，γ＝0.85，n表示第i个样本中Haar特征的个数，x_i表示第i个样本，i表示样本的序号，y_i＝1表示样本中的正样本，y_i＝0表示样本中的负样本，f(x_i)表示第i个样本的Haar特征，σ₁表示正样本的方差，μ₀表示负样本的均值，σ₀表示负样本的方差，符号←表示赋值操作，∑(·)表示求和操作；(3c)利用弱分类器公式，构建样本中正样本对应的弱分类器和负样本对应的弱分类器；所述的弱分类器公式如下：$h\left(x_{ij}\right)=log\left[\frac{p\left(f\right(x_{ij}\left)\right|y=1)·p(y=1)}{p\left(f\right(x_{ij}\left)\right|y=0)·(1-p(y=1\left)\right)}\right]$其中，h(x_ij)表示样本的弱分类器，i表示样本构成样本包的个数，j表示样本的个数，x_ij表示第i个样本包中第j个样本，f(x_ij)表示第i个样本包中第j个样本的Haar特征，y＝1表示样本中正样本，p(f(x_ij)|y＝1)表示f(x_ij)在条件y＝1下的概率，该概率服从均值为μ₁、方差为σ₁的正态分布，p(f(x_ij)|y＝0)表示f(x_ij)在条件y＝0下概率，该概率服从均值为μ₀、方差为σ₀的正态分布，p(y＝1)表示样本的先验概率，log(·)表示取对数操作；(4)构建强分类器：(4a)按照下式，计算弱分类器的最大似然概率：$\begin{array}{c}{L}^m=\underset{i}{\Sigma }\left(\log p\left(y_i|X_i\right)\right)\\ =\underset{i}{\Sigma }\left(\log \right(1-\underset{j}{\Pi }\left(1-p\left(y_i|x_{ij}\right)\right)\end{array}$其中，L^m表示第m个弱分类器的最大似然概率，m表示弱分类器的序号，m＝1,2,...,M，M表示弱分类器的总数，x_ij表示第i个样本包中第j个样本，i表示样本构成样本包的个数，j表示样本的个数，X_i表示第i个样本包，y_i＝1表示样本中的正样本，y_i＝0表示样本中的负样本，p(y_i|X_i)表示y_i在条件X_i下的概率，p(y_i|x_ij)表示y_i在条件x_ij下的概率，∑(·)表示求和操作，log(·)表示取对数操作，∏(·)表示连乘操作；(4b)从M个弱分类器中，选出K₁个最大似然概率较小的弱分类器，从K₁个弱分类对应的样本中，挑选S₁个概率最小的样本，采用更新高斯参数公式，更新弱分类器的高斯参数，从K₁个弱分类器中挑选出K₂个弱分类器，在K₂个弱分类对应的样本中挑选出S₂个概率最小的样本；所述更新高斯参数公式如下：${\mu }_1\leftarrow \frac{1}{n}\underset{i|y_i=1}{\Sigma }f\left(x_i\right)$${\sigma }_1\leftarrow \sqrt{\frac{1}{n}\underset{i|y_i=1}{\Sigma }{\left(f\right(x_i)-{\mu }_1)}^2}$${\mu }_0\leftarrow \frac{1}{n}\underset{i|y_i=0}{\Sigma }f\left(x_i\right)$${\sigma }_0\leftarrow \sqrt{\frac{1}{n}\underset{i|y_i=0}{\Sigma }{\left(f\right(x_i)-{\mu }_0)}^2}$其中，μ₁表示正样本的均值，n表示第i个样本中Haar特征的个数，x_i表示第i个样本，i表示样本的序号，y_i＝1表示样本中的正样本，y_i＝0表示样本中的负样本，f(x_i)表示第i个样本的Haar特征，σ₁表示正样本的方差，μ₀表示负样本的均值，σ₀表示负样本的方差，符号←表示赋值操作，∑(·)表示求和操作；(4c)按照下式，构建强分类器模型：$h_k=\underset{m\in \left(1,...,M\right)}{\mathrm{argmin}}{L}^m$H_k＝H_k‑1+h_k其中，h_k表示第k个弱分类器，L^m表示弱分类器的最大似然概率，H_k‑1表示(k‑1)个弱分类器组成的强分类器，H_k表示k个弱分类器组成的强分类器,argmin(·)表示选取最小值操作；(5)采用更新高斯参数公式，更新弱分类器的高斯参数；所述更新高斯参数公式如下：${\mu }_1\leftarrow \frac{1}{n}\underset{i|y_i=1}{\Sigma }f\left(x_i\right)$${\sigma }_1\leftarrow \sqrt{\frac{1}{n}\underset{i|y_i=1}{\Sigma }{\left(f\right(x_i)-{\mu }_1)}^2}$${\mu }_0\leftarrow \frac{1}{n}\underset{i|y_i=0}{\Sigma }f\left(x_i\right)$${\sigma }_0\leftarrow \sqrt{\frac{1}{n}\underset{i|y_i=0}{\Sigma }{\left(f\right(x_i)-{\mu }_0)}^2}$其中，μ₁表示正样本的均值，n表示第i个样本中Haar特征的个数，x_i表示第i个样本，i表示样本的序号，y_i＝1表示样本中的正样本，y_i＝0表示样本中的负样本，f(x_i)表示第i个样本的Haar特征，σ₁表示正样本的方差，μ₀表示负样本的均值，σ₀表示负样本的方差，符号←表示赋值操作，∑(·)表示求和操作；(6)预测当前帧目标框位置：(6a)载入待跟踪视频序列中下一帧，作为当前帧图像，在当前帧图像中，以上一帧图像待跟踪目标的位置为中心，取出与待跟踪目标的位置大小相同的多个矩形框，将这些矩形框作为当前帧图像的检测样本；(6b)提取当前帧图像的检测样本的Haar特征；(6c)用当前帧图像的上一帧图像的弱分类器模型，对当前帧图像的检测样本进行分类预测，得到当前帧图像的检测样本的分类决策概率值，从分类决策概率值中，选出最大决策概率值的检测样本在当前帧图像中的位置，将该位置作为当前帧图像中待跟踪目标的位置；所述的分类预测的具体步骤如下：第一步，按照下式，计算检测样本的弱分类器参数：$h\left(x_{ij}\right)=log\left[\frac{p\left(f\right(x_{ij}\left)\right|y=1)}{p\left(f\right(x_{ij}\left)\right|y=0)}\right]$其中，h(x_ij)表示检测样本的弱分类器参数，i表示检测样本构成样本包的个数，j表示检测样本的个数，x_ij表示第i个样本包中第j个检测样本，f(x_ij)表示第i个样本包中第j个检测样本的Haar特征，p(f(x_ij)|y＝1)表示f(x_ij)在条件y＝1下的概率，该概率服从均值为μ₁、方差为σ₁的正态分布，p(f(x_ij)|y＝0)表示f(x_ij)在条件y＝0下概率，该概率服从均值为μ₀、方差为σ₀的正态分布，log(·)表示取对数操作；第二步，按照下式，计算检测样本的强分类器参数，作为检测样本的决策概率值：$H=\underset{i}{\Sigma }h\left(x_{ij}\right)$其中，H表示检测样本的强分类器参数，h(x_ij)表示检测样本的弱分类器参数，i表示检测样本构成样本包的个数，j表示检测样本的个数，x_ij表示第i个样本包中第j个检测样本，∑(·)表示求和操作；(7)计算当前帧精确样本的先验概率：(7a)在当前帧图像中，将待跟踪目标的位置对应的图像区域，作为当前帧图像的模板目标；以当前帧图像中待跟踪目标的位置为中心，取出与待跟踪目标的位置大小相同的多个矩形框，将这些矩形框作为当前帧图像的精确样本；(7b)提取当前帧图像的精确样本的Haar特征；(7c)采用直方图均衡化方法，得到当前帧图像的模板目标的均衡化直方图；(7d)在当前帧图像的检测样本的左上角点的3×3邻域内，获取与当前帧图像的精确样本大小相同的9个图像块，采用直方图均衡化方法，得到这9个图像块的均衡化直方图，采用相关系数公式，计算9个图像块的均衡化直方图与模板目标的均衡化直方图的9个相关系数；(7e)求9个相关系数的平均值，将该平均值作为当前帧图像的精确样本的先验概率；(8)更新分类器：(8a)利用弱分类器公式，构建当前帧图像的精确样本的正样本对应的弱分类器和负样本对应的弱分类器；所述的弱分类器公式如下：$h\left(x_{ij}\right)=log\left[\frac{p\left(f\right(x_{ij}\left)\right|y=1)·p(y=1)}{p\left(f\right(x_{ij}\left)\right|y=0)·(1-p(y=1\left)\right)}\right]$其中，h(x_ij)表示样本的弱分类器，i表示样本构成样本包的个数，j表示样本的个数，x_ij表示第i个样本包中第j个样本，f(x_ij)表示第i个样本包中第j个样本的Haar特征，y＝1表示样本中正样本，p(f(x_ij)|y＝1)表示f(x_ij)在条件y＝1下的概率，该概率服从均值为μ₁、方差为σ₁的正态分布，p(f(x_ij)|y＝0)表示f(x_ij)在条件y＝0下概率，该概率服从均值为μ₀、方差为σ₀的正态分布，p(y＝1)表示样本的先验概率，log(·)表示取对数操作；(8b)按照下式，计算弱分类器的最大似然概率：$\begin{array}{c}{L}^m=\underset{i}{\Sigma }\left(\log p\left(y_i|X_i\right)\right)\\ =\underset{i}{\Sigma }\left(\log \right(1-\underset{j}{\Pi }\left(1-p\left(y_i|x_{ij}\right)\right)\end{array}$其中，L^m表示第m个弱分类器的最大似然概率，m表示弱分类器的序号，m＝1,2,...,M，M表示弱分类器的总数，x_ij表示第i个样本包中当前帧图像的第j个精确样本，i表示当前帧图像的精确样本构成样本包的个数，j表示当前帧图像的精确样本的个数，X_i表示第i个样本包，y_i＝1表示当前帧图像的精确样本的正样本，y_i＝0表示当前帧图像的精确样本的负样本，p(y_i|X_i)表示y_i在条件X_i下的概率，p(y_i|x_ij)表示y_i在条件x_ij下的概率，∑(·)表示求和操作，log(·)表示取对数操作，∏(·)表示连乘操作；(8c)从M个弱分类器中，选出K₁个最大似然概率较小的弱分类器，从K₁个弱分类对应的当前帧图像的精确样本中，挑选S₁个概率最小的当前帧图像的精确样本，采用更新高斯参数公式，更新弱分类器的高斯参数，从K₁个弱分类器中挑选出K₂个弱分类器，在K₂个弱分类对应的当前帧图像的精确样本中挑选出S₂个概率最小的精确样本，按照下式，构建强分类器：$h_k=\underset{m\in \left(1,...,M\right)}{\mathrm{argmin}}{L}^m$H_k＝H_k‑1+h_k其中，h_k表示第k个弱分类器，L^m表示弱分类器的最大似然概率，H_k‑1表示(k‑1)个弱分类器组成的强分类器，H_k表示k个弱分类器组成的强分类器,argmin(·)表示选取最小值操作；所述更新高斯参数公式如下：${\mu }_1\leftarrow \frac{1}{n}\underset{i|y_i=1}{\Sigma }f\left(x_i\right)$${\sigma }_1\leftarrow \sqrt{\frac{1}{n}\underset{i|y_i=1}{\Sigma }{\left(f\right(x_i)-{\mu }_1)}^2}$${\mu }_0\leftarrow \frac{1}{n}\underset{i|y_i=0}{\Sigma }f\left(x_i\right)$${\sigma }_0\leftarrow \sqrt{\frac{1}{n}\underset{i|y_i=0}{\Sigma }{\left(f\right(x_i)-{\mu }_0)}^2}$其中，μ₁表示正样本的均值，n表示第i个样本中Haar特征的个数，x_i表示第i个样本，i表示样本的序号，y_i＝1表示样本中的正样本，y_i＝0表示样本中的负样本，f(x_i)表示第i个样本的Haar特征，σ₁表示正样本的方差，μ₀表示负样本的均值，σ₀表示负样本的方差，符号←表示赋值操作，∑(·)表示求和操作；弱分类器公式如下：$h\left(x_{ij}\right)=log\left[\frac{p\left(f\right(x_{ij}\left)\right|y=1)·p(y=1)}{p\left(f\right(x_{ij}\left)\right|y=0)·(1-p(y=1\left)\right)}\right]$其中，h(x_ij)表示样本的弱分类器，i表示样本构成样本包的个数，j表示样本的个数，x_ij表示第i个样本包中第j个样本，f(x_ij)表示第i个样本包中第j个样本的Haar特征，y＝1表示样本中正样本，p(f(x_ij)|y＝1)表示f(x_ij)在条件y＝1下的概率，该概率服从均值为μ₁、方差为σ₁的正态分布，p(f(x_ij)|y＝0)表示f(x_ij)在条件y＝0下概率，该概率服从均值为μ₀、方差为σ₀的正态分布，p(y＝1)表示样本的先验概率，log(·)表示取对数操作；(8d)采用更新高斯参数公式，更新弱分类器的高斯参数；所述更新高斯参数公式如下：${\mu }_1\leftarrow \frac{1}{n}\underset{i|y_i=1}{\Sigma }f\left(x_i\right)$${\sigma }_1\leftarrow \sqrt{\frac{1}{n}\underset{i|y_i=1}{\Sigma }{\left(f\right(x_i)-{\mu }_1)}^2}$${\mu }_0\leftarrow \frac{1}{n}\underset{i|y_i=0}{\Sigma }f\left(x_i\right)$${\sigma }_0\leftarrow \sqrt{\frac{1}{n}\underset{i|y_i=0}{\Sigma }{\left(f\right(x_i)-{\mu }_0)}^2}$其中，μ₁表示正样本的均值，n表示第i个样本中Haar特征的个数，x_i表示第i个样本，i表示样本的序号，y_i＝1表示样本中的正样本，y_i＝0表示样本中的负样本，f(x_i)表示第i个样本的Haar特征，σ₁表示正样本的方差，μ₀表示负样本的均值，σ₀表示负样本的方差，符号←表示赋值操作，∑(·)表示求和操作；(9)判断当前帧图像是否为待跟踪视频图像序列的最后一帧图像，若是，执行步骤(10)；否则，执行步骤(6)；(10)结束。