一种基于双目多维感知特性的立体视频显著性检测方法

摘要

本发明涉及一种基于双目多维感知特性的立体视频显著性检测方法。传统模型方法无法有效的检测出立体视频的显著区域。本发明方法包括显著特征提取和显著特征融合。显著特征提取是从立体视频的空间、深度以及运动三个不同维度的视图信息分别进行显著性计算，包括二维静态显著区域检测、深度显著区域检测、运动显著区域检测。显著特征融合是将已获取的三种不同维度的显著特征图采取全局非线性归一化的融合策略进行融合，进而获取立体视频显著区域。本发明方法计算复杂度低，获取的立体视频显著图质量高，可以直接应用在3D视频压缩，3D质量评估以及物体识别和追踪等工程领域中。

主权项

一种基于双目多维感知特性的立体视频显著性检测方法，包括显著特征提取和显著特征融合，其特征在于：所述的显著特征提取是从立体视频的空间、深度以及运动三个不同维度的视图信息分别进行显著性计算，具体包括三部分：二维静态显著区域检测、深度显著区域检测、运动显著区域检测；其中：二维静态显著区域检测：根据Bayesian模型计算单张彩色图像的空间特征的显著性，检测出彩色图像的二维静态显著区域，具体是：通过计算单点的感兴趣概率的方法来估计物体的显著程度S_Z：$S_Z=p\{C=1|F=f_z,L=l_z\}=\frac{p(F=f_z,L=l_z|C=1)p(C=1)}{p(F=f_z,L=l_z)};$式中z表示图像中的某个像素点，p表示相应的概率值，随机变量F表示一个点像素的视觉特征值，随机变量L表示一个像素点的坐标位置；二元随机变量C表示该点像素是否为目标像素，C＝1表示为目标像素，C≠1表示不是目标像素；f_z和l_z分别表示注视在z点时的视觉特征值以及相应的像素坐标位置；假设在C＝1的情况下，该点的视觉特征与空间位置是相互独立的，即有：$S_z=\frac{p(F=f_z|C=1)p(L=l_z|C=1)p(C=1)}{p(F=f_z)p(L=l_z)}=\frac{1}{p(F=f_z)}·p(F=f_z|C=1)·p(C=1|L=l_z);$为了在一张图像中方便比较该点的显著概率，将上式进行对数化：log s_z＝‑log p(F＝f_z)+log p(F＝f_z|C＝1)+log p(C＝1|L＝l_z)；式中第一项‑log p(F＝f_z)表示该像素点特征的自信息量，只依赖于z的视觉特征，独立于任何先验信息；第二项log p(F＝f_z|C＝1)表示对数似然函数项，用来表示目标的先验信息；第三项log p(C＝1|L＝l_z)表示独立于视觉特性，反映目标可能出现位置的先验信息；将上式简化为：log S_z＝‑log p(F＝f_z)，通过计算图像各像素点的显著程度S_Z获取二维静态显著图SM_image；深度显著区域检测的具体步骤是：①采用DERS软件根据输入的第k帧左视点图和右视点图计算出该帧的视差图，其中视差值d∈[0,255]；②根据视差图中的最大视差值d_max和最小视差值d_min将视差值归一化到[0,1]区间；如果某像素点的视差值接近d_max则赋予大的视差值，相反接近d_min则赋予小的视差值，给前景物体与背景物体赋予不同的显著性得到深度前景图D_foreground，其中前景物体相对于背景物体更为显著；③利用高斯差分滤波器提取重要的深度感知特征—深度对比度DoG(x,y)，实现公式下：$DoG(x,y)=\frac{1}{2{\mathrm{\pi \sigma }}^2}\exp (-\frac{x^2+y^2}{{\sigma }^2})-\frac{1}{2{\mathrm{\pi K}}^2{\sigma }^2}\exp (-\frac{x^2+y^2}{2K^2{\sigma }^2});$其中(x,y)代表滤波器位置，σ和K分别用来控制滤波器的尺度和高斯核的半径比，将经DoG滤波后的深度图作为深度对比度图D_constrast；④将获取的深度前景图D_foreground和深度对比度图D_constrast进行线性加权融合，获取深度显著图SM_depth：SM_depth＝ω₁D_foreground+ω₂D_constrast；其中：ω₁和ω₂分别为D_foreground和D_constrast的权重；运动显著区域检测：根据当前帧的二维静态显著图SM_image和深度显著图SM_depth中的显著区域采用光流法提取相邻帧间运动矢量，获取运动显著图SM_motion，具体步骤是：a.对二维静态显著图SM_image和深度显著图SM_depth进行二值化：式中，T_image和T_depth分别为SM_image和SM_depth的二值化处理的门限值，最佳门限值通过大津算法获取，SM′_image和SM′_depth为经过二值化处理后的显著图，其中显著区域的像素值为1，不显著区域的像素值为0；然后将SM′_image和SM′_depth代入下式中来确定当前帧图像的光流计算区域S′(x,y)：$S^{\prime }(x,y)=\frac{{\mathrm{SM}}_{image}^{\prime }(x,y)+{\mathrm{SM}}_{depth}^{\prime }(x,y)}{2}·S(x,y);$式中S(x,y)表示当前帧原视图中像素点(x,y)处的灰度值；b.根据划分的显著区域利用Lucas‑Kanade微分光流算法计算相邻帧的运动；假设连续时间内像素点的灰度值恒定不变，特征点邻域内做相似运动，对显著区域所有像素求解基本光流方程：I_xV_x+I_yV_y＝‑I_t；式中V_x，V_y分别表示光流矢量沿x，y两个方向分量，I_x，I_y，I_t分别表示像素点沿x，y，t三个方向的偏导数，矢量形式表达式为：式中是该点的梯度方向，符号T代表转置，为该点的光流，联立n个光流方程采用最小二乘法求解x，y方向的速度：得到：通过上述方程计算显著区域的光流进而获取运动显著图SM_motion；所述的显著特征融合是将已获取的三种不同维度的显著特征图SM_image、SM_depth、SM_motion采取全局非线性归一化的融合策略进行融合，进而获取立体视频显著区域；具体步骤是：(1)将已获取的种不同维度的显著图归一化到一个相同的0到1区间的动态范围内；(2)计算每张显著图的全局最大值M_i以及所有局部极大值的平均值i＝image,depth,motion，其中M_i通过计算视差直方图可获取，是先通过matlab中的差分函数计算出局部极大值，然后再取其平均值；(3)将归一化后的显著图与其相乘，计算公式如下：$SM=\underset{i}{\Sigma }[\left(N\right({\mathrm{SM}}_i\left)\right)·{\left(M_i-m_i\right)}^2],i=image,depth,motion;$式中N(SM_i)表示归一化操作，即把不同的显著图都归一化到[0,1]区间，其中权重通过计算该图中全局最大值M_i与所有局部极大值的平均值的差值，当二者差值很大时，表明该显著图中的显著特征更为明显，赋予大的权重；当差值很小的时候，表明该显著图的显著特征更为均匀，赋予较小的权重进行抑制，取(M_i‑m_i)²作为每张显著图的权重值；通过临近相似特征相互抑制的方式来近似模拟生物神经抑制机制，融合三个不同维度的显著特征来获取立体视频的显著区域。