基于学的视频中显著物体序列自动检测方法

摘要

本发明公开了一种基于学的视频中显著物体序列自动检测方法，该方法首先计算静态显著性特征，计算动态显著性特征，并与静态显著性特征自适应组合起来构成显著性特征约束。计算每帧图像中的空间连续性。计算相邻帧图像中显著物体的时间连续性。这里计算所有可能的显著物体之间的相似度。利用前一次计算获得显著物体序列计算全局主题模型，并计算相应的能量贡献。利用动态规划算法进行全局最优求解，从而获得全局最优的显著物体序列。当未满足收敛条件继续迭代求解。否则，输出矩形框序列作为最优的显著物体序列。本发明能有效解决静态与动态显著性特征的选取与多种约束条件的优化集成，以及目标序列检测的高效计算。

主权项

1.基于学习的视频中显著物体序列自动检测方法，其特征在于，包括以下步骤：1)计算静态显著性特征：局部、区域和全局显著性特征计算来自每一帧图像的静态线索；2)计算动态显著性特征，并与静态显著性特征自适应组合起来构成显著性特征约束；计算动态显著性特征方法如下：采用对每个像素点在多尺度上利用Simoncelli滤波器来计算运动场M，对运动场进行加权，加权权值W的计算如下：W(x，M)＝exp(-ε_c||V(x，M)||²)，其中x为象素点坐标，M为运动场向量，ε_c＝0.2为参数，V(x，M)是来自像素点x周围5×5的窗口内运动场的标准方差；对于加权的运动场，扩展局部、区域和全局性显著性特征到加权运动场中来计算运动场显著性特征：定义在运动场的局部显著性特征为加权多尺度对比度其计算公式为：定义在运动场上的区域显著性特征为加权中间-周围直方图其计算公式为：定义在运动场上的全局显著性特征为加权运动场空间分布其计算公式为其中x为象素点坐标，W_x为运动场的权重，M是运动场向量，N(x)代表x周围一定区域内的像素集，L是总的层数，l代表当前层数，M^l是金字塔中第l层的二维运动场，W_x^l是像素点x的权重，R_M^*是以x′为中心且包括x的矩形框内的统计直方图，是对应的周围矩形框内的统计直方图，W_xx′是空间的距离上的权重，W_x′表明了像素点x′的权重，χ²表示直方图间的距离，V(m)为每个高斯元的空间分布方差，m代表高斯元序号，通过对训练数据的学习获得最终组合的加权运动场显著性特征：$F_M\left(x\right)={\Sigma }_k{\lambda }_k{f}_{M_k}(x,M),$其中，为上述介绍的定义在运动场上的局部、区域和全局显著性特征，λ_k为对应局部、区域和全局显著性特征的参数。上述定义默认为在第t帧图像中的定义。运动显著性在时间维度上的自适应平滑，采用前后两帧运动显著特征的自适应组合方式，即自适应组合后第t帧图像中的显著性特征F_Mt(x)由第t帧图像中的显著性特征F_Mt(x)和第t-1帧图像中的显著性特征F_Mt-1(x)计算：$F_{\mathrm{Mt}}\left(x\right)=\frac{S_t}{S_t+S_{t-1}}{F}_{\mathrm{Mt}}\left(x\right)+\frac{S_{t-1}}{S_t+S_{t-1}}{F}_{\mathrm{Mt}-1}\left(x\right),$这里S_t和S_t-1定义为权重，计算如下：其中β_s＝0.1，被定义为两个5×5的窗口区域里显著性的最大差，定义如下：其中N(x)表明5×5的窗口邻域；将自适应平滑后的动态显著性和静态显著性自适应组合起来构成最终的显著性约束：F_t(x)＝F_St(x)+S_t×F_Mt(x)，其中S_t为平滑的运动场显著性上重新计算的运动显著的权重，从定义中看到S_t∈[0，1]；3)计算每帧图像中的空间连续性，具体方法如下：显著物体被表示为一个矩形框，空间连续性被定义为刻画矩形框边界与真实的图像边缘之间的吻合程度，即空间连续性特征由当前图像I_t和当前帧的标记结果A_t计算而来，其计算公式为其中，a_x表示象素点x处的标记值，a_x＝1表明象素点x属于显著性物体，a_x＝0表明象素点x不属于显著性物体。表示像素点x到图像边缘的归一化距离，其中|L_t|为矩形框上像素点的个数，W和H为图像的宽度和高度，Sobel算子用来计算图像的边界并自适应的选择门限值进行二值化并获得图像的边缘信息；4)计算相邻帧图像中显著物体的时间连续性，时间连续性数学定义如下：其中定义了相邻两帧图像中显著物体的形状相似度，而χ²(A_t，A_t+1)定义了相邻两帧图像中显著物体的表面模式之间的相似度，这里为颜色直方图的χ²距离，β₂＝0.01为权值以保持与其它能量项的平衡；5)如果是第一次迭代，跳转到步骤6)继续，否则对于第n次迭代，利用第n-1次迭代计算获得的显著物体序列计算全局主题模型，并计算相应的能量贡献；利用第n-1次迭代计算获得的显著物体序列结果在整个序列里比较保守的收集显著物体和背景的样本策略，然后利用这些样本构造出显著物体的颜色直方图H_F(b)和背景的颜色直方图H_B(b)，这里b表示直方图的位阶，然后对每帧图像的每一个像素点计算一个似然，全局主题模型在能量函数中的贡献计算如下：其中b_x为像素点x的颜色直方图值；6)利用动态规划算法进行全局最优求解，从而获得全局最优的显著物体序列；视频中显著物体序列检测的数学建模如下：将视频表示为图像序列I_1…T，其中T为总帧数，显著物体序列A_1…T∈{0，1}为二值模板图序列，标明每个像素点是否为显著物体，计算给定观测数据I_1…T的情况下A_1…T的条件分布，即其中t∈[1，T]是时间刻度，Z是归一化函数，显著物体序列A_1…T通过最小化能量函数进行求解：$A_{1...T}^{*}=\arg \underset{A_{1...T}}{\min }\underset{t}{\Sigma }{E}_t\left(A_t\right|I_{1...T},A_{t^{\prime }\ne t})---\left(1\right)$能量函数E_t(A_t|I_1…T，A_t′≠t)被定义为这些线索的线性组合：F_t为显著性约束，为空间连续性，为时间连续性，G_t为全局主题模型；动态规划算法设计如下：A_t是状态变量，该状态变量由第t帧中矩形框的中心位置和尺度大小构成，U_t是相邻两帧之间矩形框变化的可能策略，那么最优值函数定义为：$S_{t+1}\left(A_{t+1}\right)=\arg \underset{U_t}{\min }{S}_t\left(A_t\right)+E_t\left(A_t\right)---\left(3\right)$其中A_t＝T(A_t+1，U_t)从状态转移函数计算而来，E(A_t)为(2)式定义的能量函数，目标函数的初始值为S₀＝0，前向算法被用来进行最优值计算，获得全局最优的矩形框序列A_1…T，在第一次进行能量最小化计算的时候，用到静态和动态显著性、时间与空间连续性，即：7)当未满足收敛条件，输出序列不再变化或者达到一定的迭代次数时跳转步骤5)继续迭代求解，否则，输出矩形框序列作为最优的显著物体序列。