基于深度恢复和运动估计的视频分割方法

摘要

本发明公开了一种基于深度恢复和运动估计的视频分割方法。它的步骤如下：1）通过用单应性矩阵估计或利用视频序列一致性深度恢复方法恢复出的相机运动以及稠密深度图获得背景相减量度；2）稠密运动估计，为连续的两帧图像估计其稠密运动场d和遮挡图o；3）根据交互制定的多个量度的结合策略来计算视频分割结果；4）重复步骤3)两遍以上后结束。首先，本发明能够通过运动、深度和分割信息的迭代优化，对视频进行分割。其次，本发明无须估计摄像机参数和深度信息，就能对背景做平面运动的视频进行分割。最后，本发明是多量度结合的视频分割方法，能对各种量度的准确率进行衡量，筛选出可靠的量度参加视频分割计算。

主权项

1.一种基于深度恢复和运动估计的视频分割方法，其特征在于它的步骤如下：1）通过用视频序列一致性深度恢复方法恢复出的视频序列的相机运动及稠密深度图或单应性矩阵估计来获得任意两帧之间的映射关系，对于任意一个视频序列，如果背景场景是平面运动，那么将用单应性矩阵变换来表示图像变换，如果背景场景不是平面运动，利用视频序列一致性深度恢复方法恢复出的视频序列的相机运动及稠密深度图，将任意一帧Iⁱ图像中的像素投到I^j图像上，进行包括背景相减量度在内的多种量度的计算；2）稠密运动估计，为连续的两帧图像估计其稠密运动场d和遮挡图o；3）根据交互制定的包括形状先验在内的多个量度的结合策略来计算能量函数中的数据项并计算空间平滑项以及时域平滑项通过GraphCut方法求解能量函数$E_B\left(\alpha \right)=\underset{t=1}{\overset{n}{\Sigma }}\underset{x\in I^t}{\Sigma }(E_d\left({\alpha }_x^t\right)+{\lambda }_S\underset{y\in N\left(x\right)}{\Sigma }{E}_s({\alpha }_x^t,{\alpha }_y^t)+{\lambda }_{T}G\left({\alpha }_x^t\right))$获得分割结果，其中λ_s和λ_T为权重系数，取值为λ_s=0.5，λ_T=0.3；4）重复步骤3)两遍以上后结束。