基于时-空多尺度运动注意力分析的目标检测方法

摘要

本发明公开了一种时-空多尺度运动注意力分析的目标检测方法，具体按照以下步骤实施：步骤1、创建时-空运动融合注意力模型；步骤2、对运动矢量场进行时-空滤波，在时间维度上，通过对运动矢量场滤波得到不同时间尺度下的运动矢量场，并按照一定原则选取最佳时间尺度；步骤3、进行多尺度运动注意力融合。本发明的方法优点是：1）选择合适的时间尺度处理运动矢量场并进行注意力计算，减少了光流估算错误等因素对目标检测的影响，克服了传统方法的局限性。2）在全局运动场景下能有效地检测运动目标区域，具有比同类方法更好的鲁棒性。

主权项

1.一种时-空多尺度运动注意力分析的目标检测方法，其特征在于：该方法按照以下步骤具体实施：步骤1、创建时-空运动融合注意力模型在时间维度上，邻域内定义运动矢量差值描述时间注意力因子，定义的时间注意力因子是：$A_{k,i,j}^T=\left|\mathrm{\Delta V}\right|=|{\overrightarrow{V}}_{k,i,j}-{\overrightarrow{V}}_{k-1,i,j}|,---\left(2\right)$式中的和分别代表在k帧和k-1帧中坐标位置为(i,j)的运动矢量，假定MB_k，i，j是k帧中坐标为(i,j)的宏块，i和j分别表示宏块的横纵坐标；Λ_k，i，j表示包含宏块MB_k，i，j及其相邻宏块的集合，那么定义的空间注意力因子是：$A_{k,i,j}^S=a·|{\overrightarrow{V}}_{k,i,j}-{\overrightarrow{u}}_{k,i,j}|+b·\mathrm{PLog}\frac{1}{P},---\left(3\right)$式中的a,b是系数，分别代表在k帧中坐标位置为(i,j)的运动矢量，·代表系数与矢量的乘积，其中P为当前运动场矢量估算的正态高斯概率函数，其表达式为$P=\frac{1}{\sqrt{2\pi }\delta }\exp [-\frac{1}{2}{\left(\frac{\overrightarrow{v}-\hat{u}}{\hat{\delta }}\right)}^2],$其中的和由无偏估计决定，$\hat{u}=\frac{1}{N}\Sigma {\bar{V}}_k,$$\hat{\delta }=\frac{1}{N-1}\Sigma ({\overrightarrow{V}}_k-{\bar{V}}_k),$本方法定义运动注意力模型为时间和空间注意力因子的线性融合模型，线性组合是：$A_{k,i,j}=\alpha ·A_{k,i,j}^T+\beta ·A_{k,i,j}^S,---\left(4\right)$其中的α、β为正值的系数，最终借鉴融合模型进行运动注意力融合，公式如下：${\tilde{A}}_{k,i,j}=A_{k,i,j}+\frac{1}{2}\delta ·\max (A_{k,i,j}^T,A_{k,i,j}^S)·\sigma$$=\alpha ·A_{k,i,j}^T+\beta ·A_{k,i,j}^S+\frac{1}{2}\delta ·\max (A_{k,i,j}^T,A_{k,i,j}^S)·|A_{k,i,j}^T-A_{k,i,j}^S|,---\left(5\right)$其中δ为正值，公式（5）中的后半部分代表时-空对注意力影响的偏置；步骤2、对运动矢量场进行时-空滤波时间尺度滤波定义是：假设运动矢量场时间序列为指t时刻运动矢量场中的运动矢量，那么低通滤波后的运动矢量场由以下迭代公式确定：${\mathrm{ML}}_i(\overrightarrow{v},t)={\partial }_i·{\mathrm{ML}}_i(\overrightarrow{v},t-1)+(1-{\partial }_i)·\mathrm{MVF}(\overrightarrow{v},t),---\left(6\right)$公式中，t＞0，M_v为初始化系数，滤波系数决定了当前运动场在滤波后所占的程度大小，运动场的滤波效果取决于系数的大小；的取值需要考虑运动场的时间频率和所需的时间尺度，上述公式变形为下式：${\mathrm{ML}}_i(\overrightarrow{v},t)=(1-{\partial }_i)·\underset{j=1}{\overset{t}{\Sigma }}{\partial }_i^{t-j}·\mathrm{MVF}(\overrightarrow{v},t)+{\partial }_i^t·M_v,---\left(7\right)$式中，ML_i为滤波后的运动矢量场，在时间滤波后，对运动矢量进行空间上的中值滤波处理得到真正反映视频对象运动的运动矢量，运动矢量中值滤波过程如下：对于每一个非零运动矢量，用相邻的运动矢量中值代替其值，在空间维度上，采用多分辨率分析理论，将图像帧在空间上进行多分辨率分解，在不同尺度空间中进行运动估计，选用具有紧支集的正交小波基来构造滤波器进行分解，多尺度分解后，在每个级别的低频尺度空间上作运动估计，得到不同尺度下的运动矢量场；步骤3、进行多尺度运动注意力融合融合过程考虑了图像像素分布的相关性，相关性程度高的像素宏块进行合并，采用共生矩阵的相关性系数来衡量当前像素块的像素值分布特点，共生矩阵的相关系数是用来衡量共生矩阵中元素在行或列方向上的相似程度，设f为大小m×n的图像，则相关系数是：$\mathrm{Cor}={\Sigma }_{i,j=0}^{N_g-1}{P}_{i,j}\left[\frac{\left({i-u}_i\right)·(j-u_j)}{{\delta }_i^2·{\delta }_j^2}\right],---\left(8\right)$式（8）中，$u_i={\Sigma }_{i,j=0}^{N_g-1}i·P_{(i,j)},$$u_j={\Sigma }_{i,j=0}^{N_g-1}j·P_{(i,j)},$${\delta }_i^2={\Sigma }_{i,j=0}^{N_g-1}{P}_{(i,j)}·{\left(i-u_i\right)}^2,$${\delta }_j^2={\Sigma }_{i,j=0}^{N_g-1}{P}_{(i,j)}·{(j-u_j)}^2,$多尺度注意力融合的具体过程是：判断第n层Cor(PB_i,j)与阈值T作比较，若Cor(PB_i,j)＞T，说明像素的分布相关性大，光流运动估算的出现误差的可能性小，则选择当前宏块对应的注意力值，并按照四叉树形式将下一尺度对应的四个宏块注意力值进行赋值；若Cor(PB_i,j)＜T，说明像素的分布相关性小，光流运动估算的出现误差的可能性大，因此该宏块不取当前值，按照从低尺度向高尺度逐层判断的顺序，最终得到融合后的注意力图。