一种视频的时域一致性半透明边缘提取方法

摘要

本发明公开了一种视频的时域一致性半透明边缘提取方法。对视频的图像帧进行逐帧半交互式分割，然后进行优化完成视频时域一致性分割；根据视频的时域一致性分割结果，在自适应边缘的图像颜色复杂度的前提下自动膨胀分割边缘生成三色图；利用三色图和视频像素在时域上的光流信息进行时域一致性抠图。本发明能够提取视频物体的时域一致性半透明边缘，还能够得到时域一致性分割结果，在影视2D转3D制作中合成立体新视图时避免边缘的抖动和黑边现象，保证了立体视频的高质量转制。

主权项

一种视频的时域一致性半透明边缘提取方法，其特征在于，包括以下步骤：A)对视频的图像帧进行逐帧半交互式分割，然后进行优化完成视频时域一致性分割；a1)对视频的图像帧进行逐帧半交互式分割，生成前景视频图像和背景视频图像；a2)由以上步骤得到的半交互式分割结果通过优化进行视频时域一致性分割；所述的半交互式分割结果通过以下分割目标函数E(α,z)进行优化，完成视频时域一致性分割：E(α,z)＝λ₁D(α,z)+λ₂V(α,z)+λ₃T(α,z)式中，z表示视频图像的所有像素的颜色集合，α为视频分割标记，λ₁,λ₂,λ₃分别为数据项权重、控制空域平滑权重和控制时域平滑权重，D(α,z)为分割数据项，V(α,z)为分割空域平滑项，T(α,z)为分割时域平滑项；B)根据视频的时域一致性分割结果，在自适应边缘的图像颜色复杂度的前提下自动膨胀分割边缘生成三色图；C)利用三色图和视频像素在时域上的光流信息进行时域一致性抠图；所述的时域一致性抠图具体采用以下抠图目标函数F(β,z)进行抠图：$F(\beta ,z)=\underset{t=1}{\overset{K}{\Sigma }}\underset{x\in U\left(I^t\right)}{\Sigma }\left({\lambda }_Q\right|Q\left(\beta ,z,x\right)|+{\lambda }_P|P^{t,t+1}\left(\beta ,z,x\right)|+{\lambda }_P|P^{t,t-1}\left(\beta ,z,x\right)|+{\lambda }_{H}H(\beta ,z,x\left)\right)+{\lambda }_{G}G(\beta ,z)$式中，β表示像素点的半透明值集合，U(I^t)表示图像I^t的三色图中待求解的未知区域包含的像素集合，λ_Q,λ_P,λ_H,λ_G为抠图数据项权重、控制抠图时域平滑权重、控制抠图空域局部平滑权重和控制抠图空域平滑权重，Q(β,z,x)为抠图数据项，G(β,z)为抠图空域平滑项，H(β,z,x)为抠图空域局部平滑项，P^t,t+1(β,z,x)为第t帧视频图像到后一帧视频图像的正向抠图时域平滑项，P^t,t‑1(β,z,x)为第t帧视频图像到前一帧视频图像的反向抠图时域平滑项；所述的分割数据项D(α,z)采用以下公式计算：$D(\alpha ,z)=\underset{t=1}{\overset{K}{\Sigma }}\underset{x\in I^t}{\Sigma }\left(p^t\right(z_x)·(1-{\alpha }_x)+(1-p^t\left(z_x\right)\left){\alpha }_x\right)$式中，p^t(z_x)是像素点x在第t帧背景视频图像的概率函数，z_x为像素点x的颜色值，其定义为RGB的颜色空间，α_x为像素点x的视频分割标记，I^t为第t帧视频图像，K为视频图像的总帧数；所述的分割空域平滑项V(α,z)采用以下公式计算：$V(\alpha ,z)=\underset{(m,n)\in C}{\Sigma }d{(m,n)}^{-1}|{\alpha }_m-{\alpha }_n|$式中，C是视频图像中以两个相邻像素为一组组成的所有像素组集合，相邻像素定义为像素的四邻域上，(m,n)为所有像素组集合C中的一组像素组，m、n表示像素组(m,n)中的两个像素点，α_m、α_n分别为像素点m和像素点n的视频分割标记，|.|表示绝对值函数，d(.)是像素在图像上的位置之间的欧拉距离函数；所述的分割时域平滑项T(α,z)采用以下公式计算：$T(\alpha ,z)=\underset{t=1}{\overset{K}{\Sigma }}\underset{x\in I^t}{\Sigma }\underset{k=t-n}{\overset{t+n}{\Sigma }}\underset{y\in W\left(x\right)}{\Sigma }\left(\exp \right(-|{\alpha }_x-{\alpha }_{y^k}{|}^2)·w_{flow}^{y,y^k}·\exp (-d{\left(x,y\right)}^2/T_1)·\frac{T_2}{T_2+\left|\right|z_x-z_y|{|}_2})$式中，n表示时域平滑项要往前和往后计算的n帧相邻图像，W(x)是以像素点x为中心的3×3局部窗口中的9个像素集合，y为局部窗口W(x)中的任一像素点，为像素点y在第k帧的对应像素点y^k的光流置信度，k为像素点y^k所在的图像帧，是第k帧图像在像素点y^k的分割标记，exp()是以自然常数e为底的指数函数；T₁、T₂分别表示位置、颜色的控制系数；所述的抠图数据项Q(β,z,x)表示为：Q(β,z,x)＝p^t(z_x)·(1‑β_x)+(1‑p^t(z_x))β_x式中，p^t(z_x)是像素点x在第t帧背景视频图像的概率函数，z_x为像素点x的颜色值，其定义为RGB的颜色空间，β_x为像素点x的半透明值；所述的抠图空域平滑项G(β,z)表示为：$G(\beta ,z)=\underset{(m,n)\in C}{\Sigma }d{(m,n)}^{-1}|{\beta }_m-{\beta }_n|$式中，C是视频图像中以两个相邻像素为一组组成的所有像素组集合，(m,n)为所有像素组集合C中的一组像素组，m、n表示像素组(m,n)中的两个像素点，β_m、β_n分别为像素点m和像素点n的半透明值，|.|表示绝对值函数，d(.)是像素在图像上位置之间的欧拉距离函数；所述的抠图空域局部平滑项H(β,z,x)表示为：$H(\beta ,z,x)=\underset{y\in W\left(x\right)}{\Sigma }|{\beta }_x-{\beta }_y{|}^2\underset{i}{\overset{(x,y)\in M_i}{\Sigma }}\frac{1}{\left|M_i\right|}(1+(z_x-{\mu }_i\left){\left({\mathrm{Cov}}_i+\frac{ϵ}{\left|M_i\right|}B\right)}^{-1}\right(z_y-{\mu }_i\left)\right)$式中，W(x)是以像素点x为中心的3×3局部窗口中的9个像素的集合，β_x、β_y分别为像素点x和像素点y的半透明值，M是视频图像中包含像素点x,y的3×3局部窗口的集合，i是从M中取一个局部窗口的下标指示，μ_i、Cov_i分别为局部窗口M_i内颜色的期望和协方差，ε为规范化系数，B为3×3单位矩阵，z_x为像素点x的颜色值，z_y为像素点y的颜色值；所述的正向抠图时域平滑项P^t,t+1(β,z,x)对于每个像素点x表示为以下公式：$P^{t,t+1}(\beta ,z,x)=w_{flow}^{x,x^{\prime }}|{\beta }_x-{\beta }_{x^{\prime }}|$其中，x'为像素点x在后一帧视频图像中的光流对应像素点，为像素点x和像素点x'的光流置信度，β_x为像素点x的半透明值，β_x'为像素点x'的半透明值；所述的反向抠图时域平滑项P^t,t‑1(β,z,x)对于每个像素点x表示为以下公式：$P^{t,t+1}(\beta ,z,x)=w_{flow}^{x,x^{\prime \prime }}|{\beta }_x-{\beta }_{x^{\prime \prime }}|$其中，x”为像素点x在前一帧视频图像中的光流对应像素点，为像素点x和像素点x”的光流置信度，β_x为像素点x的半透明值，β_x”为像素点x”的半透明值；所述的光流置信度光流置信度和光流置信度均采用以下计算方式：通过计算视频运动信息生成光流，获得光流误差，由光流误差采用以下公式得到置信度：$w_{flow}^{r,s}=\exp (-\frac{f_{err}(r,s)}{2{\delta }_{flow}^2})·\exp (-\frac{\left|\right|z_r-z_s\left|\right|}{2{\delta }_{color}^2})$其中，r为视频图像中的任意像素点，s为像素点r的光流对应像素点，为像素点r和像素点s的光流置信度，exp是以自然常数e为底的指数函数，f_err(r,s)为像素点r和像素点s的光流误差，z_r为像素点r的颜色值，z_s为像素点s的颜色值，δ_flow为光流控制系数，δ_color为颜色控制系数。