一种基于主动场景学的对象跟踪方法

摘要

本发明提供了一种基于主动场景学的对象跟踪方法，属于计算机图形图像模式识别技术领域。如何既保证跟踪系统对目标变化的适应能力，又保证学的准确性，避免漂移而导致跟踪失败是需要共同面对的一个难题。本发明通过在线模型和短时跟踪、全局检测、主动场景学、约束方法、运动区域分析和提取等步骤来实现对象跟踪。通过对场景的在线学，主动发掘背景信息，同时，提出基于光流分析的运动区域分析和提取方法，并根据以上结构化的约束，有效地解决由于目标快速运动或者场景剧烈运动丢失目标且难以恢复的问题。有效地提高对目标变化的适应能力和模型学的准确性，从而实现长时间稳定快速的对象跟踪。主要用于对象跟踪的各种场合。

主权项

1.一种基于主动场景学习的对象跟踪方法，所述方法包括如下内容：(1)在线模型和短时跟踪在线模型包括目标模型和背景模型，它们均由多个图像块组成，目标模型包含学习到的目标图像块，而背景模型则包含学习到的背景图像块，在线模型更新过程中，将这些图像块均规则化为一个较小的尺寸，如9×9，15×15等；设任意两个图像块z_i，z_j的规则化交叉互相关值为v_NCC(z_i，z_j)，颜色直方图的相似度值为v_C(z_i，z_j)，则它们的接近程度值v_S(z_i，z_j)计算为：v_S(z_i，z_j)＝av_NCC(z_i，z_j)+bv_C(z_i，z_j)，其中a，b分别为V_NCC和v_C的权重，0≤a，b≤1且a+b＝1。实际跟踪过程中，短时跟踪器在以上次确定的目标位置为中心的搜索区域，与目标模型中所有图像块做比较，搜索使v_S值最大的位置作为当前目标的位置；(2)全局检测为实现实时的全局检测和提高检测的分辨能力，采用新的三位二元模式特征(3bitBP)，即分别编码水平，垂直和对角矩形梯度值，构成3位特征值，为了对一个图像块进行特征值编码，将该图像块等分为4×4的小块，每4个相邻且组成正方形的特征构成一个随机蕨，其中最后一个随机蕨由水平和垂直两个方向平分整个图像块后得到的4个矩形特征组成，因此，检测器包含10个不同的随机蕨，每个蕨具有3×4＝12位特征值编码，即每个蕨包含2¹²＝4096个叶节点；检测器训练过程中，每个蕨接收训练样例图像块并计算其对应的特征值编码，如果该样例正样例为目标，则对应叶节点的正样例数加1；否则，其负样例为背景数加1，而检测器对一个测试样例的评价过程为，每个蕨分别计算该样例的特征值编码，计算其对应叶节点中正样例所占的比例，将这些蕨返回的 比例值求平均，如果该平均值大于0.5，则该测试样例预测为正样例并做相应标记；否则，为负样例并标记；(3)主动场景学习对于目标模型，短时跟踪与全局检测协同完成目标表观的学习，首先短时跟踪过程中，如果v_S值高于设定的阈值且规则化交叉互相关值又小于其对应阈值，且满足(4)的约束条件，则将该位置对应的图像块加入到目标模型，而在启动全局检测后，目标模型的更新又分为以下两种情况：1)如果短时跟踪与全局检测返回的是相同位置，且满足(4)的约束条件，则将该位置对应的图像块加入到目标模型；2)如果全局检测在另一个位置上具有较强的目标响应，且满足(4)的约束条件，则将该位置对应的图像块加入到目标模型，并重新始化短时跟踪器；对于背景模型，其学习过程包括场景变更判断和背景模型更新两个部分：(i)场景变更判断背景模型的更新，只需在场景发生一定变更时进行，对于相对固定的跟踪场景，如静态场景，背景模型更新不会太频繁；而相对于复杂的动态场景，背景模型更新则会经常发生；分块统计分析：将整幅图像划分为多个区域，如划分为8×8的网格，计算每块图像区域的像素均值，如果该均值变化超过预设的阈值则认为该图像区域已变更；光流统计分析：计算每帧图像各个像素点的运动向量，各个位置的运动向量反应了场景的变更细节，统计整个图像的运动向量值及其局部运动向量值，超过一定的阈值则认为整个场景已变更；分块光流统计分析：此为以上两种方法的结合，即先对图像分块，再在各个分块区域分析其光流信息，最后统计所有局部区域，判断场景是否变更； (ii)背景模型更新背景模型的更新采用以下的方法。全局固定：在整幅图像区域选择一些固定的坐标，作为背景图像块选择位置。如果跟踪过程中，目标运动到了任意预先设定的位置，则暂时将其排除；全局随机：在整幅图像区域，且在目标所在的范围以外，随机的选择一些坐标，作为背景图像块选择位置；定向固定：以目标所处位置为中心，将在多个方向上固定一定的距离所取得的坐标，作为背景图像块选择的位置。如果选择的坐标超出图像区域，则暂时将其排除；定向随机：以目标所处位置为中心，在多个方向上，图像范围内，以随机产生的距离取得的坐标，作为背景图像块选择位置；(4)约束方法约束方法采用最近邻聚类方法，包括目标和背景两类：设M_T＝{x_i}和M_B＝{y_i}分别表示目标模型和背景模型，对于候选图像块z，设S_KNN(z，M_T)表示目标模型中与候选图像块z的k＝n个最接近的图像块中最小的那个v_S值，同理，S_KNN(z，M_B)表示背景模型中与候选图像块z的k＝n个最接近的图像块中最小的v_S值，按照(1)的接近度计算，它们分别计算为：则对应的约束值f_constraint计算为：由此f_constraint用于作为跟踪学习的结构化约束；因此，基于这种结构化约束的跟踪方法为：短时跟踪器在跟踪过程中，除自身 基于目标模型的阈值判断外，同时加入该约束判断，即对短时跟踪器返回的最佳预测目标，计算f_constraint的值，如果f_constraint＝+1即该预测目标更接近目标模型，则认为此预测目标为正确跟踪的目标，否则为背景；如果此预测目标判断为背景(f_constraint＝-1)，则启动全局检测(此时与短时跟踪同步进行)，同样，全局检测器除自身基于随机蕨概率模型的阈值判断外，对其得到的最佳预测目标计算f_constraint的值，如果f_constraint＝+1，则重新初始化短时跟踪器；(5)运动区域分析和提取基于光流分析的运动区域分析和提取方法，用于处理这样的问题，该方法具体步骤如下：①计算相邻两帧图像各个像素点的运动向量；②将整个图像划分为多个子区域；③计算各个子区域的运动向量均值；④对所有的子区域，如果该区域的运动向量均值超过阈值，则标记为运动区域；⑤组合这些运动区域作为目标可能出现的搜索区域；⑥计算各个候选位置的v_S值并根据(4)的约束条件，用最大置信度值对应的图像位置重新初始化短时跟踪器。