基于3D视频的时空域运动分割与运动估计方法

摘要

本发明公开了一种基于3D视频的时空域运动分割与运动估计方法，其实施步骤如下：1)通过3D视频获取系统获取包含运动目标和背景区域的3D视频；2)建立基于背景三维运动特性的二维运动场参数模型；3)定义分割曲面，将所述二维运动场参数模型和分割曲面嵌入活动轮廓模型得到基于时空域的目标函数；4)对所述目标函数进行最小化求解得到3D视频获取系统的运动参数、运动目标的运动参数以及目标曲面。本发明具有运动分析准确可靠、鲁棒性高、无摄像机运动先验依赖、适合复杂运动、应用范围广的优点。

主权项

1.一种基于3D视频的时空域运动分割与运动估计方法，其特征在于其实施步骤如下：1）通过3D视频获取系统获取包含运动目标和背景区域的3D视频；2）建立基于背景三维运动特性的二维运动场参数模型；所述二维运动场参数模型的约束方程为：I_op(T,W,x)＝I_x×f_u(T,W)+I_y×f_v(T,W)+I_t＝0其中I_op(T,W,x)为3D视频的每一帧图像中像素点x上的光强变化，I_x为图像灰度的横向差分，I_y为图像灰度的纵向差分，I_t为图像灰度的时间差分,T为三维运动的平移变量，W为三维运动的旋转变量,f_u(T,W)为像素点x在x方向上的光流与平移变量T、旋转变量W的关系，f_v(T,W)为像素点x在y方向上的光流与平移变量T、旋转变量W的关系，且f_u(T,W)和f_v(T,W)的表达式为$f_u(T,W)=\frac{{-\mathrm{yw}}_3-{\mathrm{xyw}}_1+(1+x^2)w_2+(t_1-{\mathrm{xt}}_3)/Z}{1-{\mathrm{xw}}_2+{\mathrm{yw}}_1+t_3/Z}$$f_v(T,W)=\frac{{\mathrm{xw}}_3+{\mathrm{xyw}}_2-(1+y^2)w_1+(t_2-{\mathrm{yt}}_3)/Z}{1-{\mathrm{xw}}_2+{\mathrm{yw}}_1+t_3/Z}$其中t₁,t₂,t₃分别代表平移变量T在x,y,z轴方向的值，w₁,w₂,w₃分别代表旋转变量W在x,y,z轴方向的值，x为像素点在图像坐标中的x轴坐标值，y为像素点在图像坐标中的y轴坐标值，Z为像素点在空间坐标中的z轴坐标值；3）定义分割曲面，将所述二维运动场参数模型和分割曲面嵌入活动轮廓模型得到基于时空域的目标函数；所述目标函数的表达式为：$E(S,T,W)=\underset{{x\in \Omega }_{\mathrm{bg}}}{\int }{g}_{\mathrm{bg}}\left(I_{\mathrm{op}}^2(T,W,x)\right)\mathrm{dx}+\underset{{x\in \Omega }_{\mathrm{fg}}}{\int }{g}_{\mathrm{fg}}\left(I_{\mathrm{op}}^2(T,W,x)\right)\mathrm{dx}+\lambda \underset{S}{\int }\mathrm{dx}$其中S为分割曲面，I_op(T,W,x)为步骤2）得到的约束方程，为背景区域的积分项，为前景区域的积分项，为曲面的平滑项，g_bg为背景区域观察函数，g_fg为前景区域观察函数，λ为比例因子；其中背景区域观察函数g_bg需要满足以下条件：g_bg(0)＝0，g_bg(∞)＝c且g_bg(x)在[0,∞)上单调递增，同样的，前景区域观察函数g_fg需满足以下条件：g_fg(0)＝c，g_fg(∞)＝0且g_fg(x)在[0,∞)上单调递减，其中c为正常数；4）对所述目标函数进行最小化求解得到3D视频获取系统的运动参数、运动目标的运动参数以及目标曲面；对目标函数进行最小化求解的详细步骤为：A）初始化目标曲面和运动参数；B）固定目标曲面，使用最速下降法迭代获取背景的运动参数；迭代获取背景的运动参数时使用的迭代公式为$\left\{\begin{array}{c}{t}_i^{n+1}=t_i^n+\mathrm{\Delta t}·\frac{{\partial t}_i^n}{\partial \tau },i=\mathrm{1,2,3}\\ {\omega }_i^{n+1}={\omega }_i^n+\mathrm{\Delta t}·\frac{{\partial \omega }_i^n}{\partial \tau },i=\mathrm{1,2,3}\end{array}\right.$其中i代表平移变量T、旋转变量W的第i个变量，Δt为迭代步长，为平移变量T的第i个变量在第n次迭代时的值，为平移变量T的第i个变量在第n+1次迭代时的值，为旋转变量W的第i个变量在第n次迭代时的值，为旋转变量W的第i个变量在第n+1次迭代时的值，为平移变量T的第i个变量在第n次迭代时的梯度，为旋转变量W的第i个变量在第n次迭代时的梯度，τ为时间步长；C）固定运动参数，使用窄带水平集方法演化获取运动目标的目标曲面；演化获取运动目标的目标曲面时，曲面演化的偏微分方程为$\frac{\partial \phi }{\partial \tau }=-\frac{\partial S}{\partial \tau }▿\phi =f(S,T,W)|▿\phi |$其中τ为时间步长，为符号距离函数对时间步长的偏微分，为曲面对时间步长的偏微分，φ为表示水平集的符号距离函数，为符号距离函数的梯度，为符号距离函数的梯度的模，驱动曲面演化的作用力f(S,T,W)的表达式为f(S,T,W)＝-g_bg(·)+g_fg(·)+λ·κ，g_bg(·)为背景区域观察函数，g_fg(·)为前景区域观察函数，λ为比例因子，κ为目标曲面的曲率；D）得到目标曲面后，分别对每个目标根据步骤2）得到的约束方程估计运动目标的运动参数。