一种2.5D视频到多视点3D视频中虚拟视点综合和空洞的修补方法

摘要

本发明公开了一种2.5D单视点视频到多视点3D视频中虚拟视点综合和空洞的修补方法，其包括以下步骤：步骤1）：对参考视点彩色图像和参考视点深度图从左右边界对外进行纹理和结构延伸；步骤2）：最左边虚拟视点综合和最右边虚拟视点综合以及内部空洞修复；步骤3）：中间虚拟视点综合(双向DIBR)；步骤4）：把参考视点和左右两边的虚拟视点结合在一起形成多视点3D视频。本发明方法快速且高效。

主权项

一种2.5D单视点视频到多视点3D视频中虚拟视点综合和空洞的修补方法，其特征在于，包括以下步骤：步骤1)：对参考视点彩色图像和参考视点深度图从左右边界对外进行纹理和结构延伸；步骤2)：最左边虚拟视点综合和最右边虚拟视点综合以及内部空洞修复；所述步骤2)具体包括：21)：以参考视点作为中间视点，将经过边界扩展修复的参考视点使用DIBR技术渲染到最左边虚拟视点和最右边虚拟视点，得到最左边虚拟视点的扩展彩色图像和最右边虚拟视点的扩展彩色图像以及对应的扩展深度图，此时扩展彩色图像大小和边界扩展修复后的参考视点彩色图像等大，对前面的两个扩展彩色图像从边界去掉和上述边界扩展区域等宽的像素，得到和参考视点彩色图像等大的最左边虚拟视点的彩色图像和最右边虚拟视点的彩色图像；对前面的两个扩展深度图从边界去掉和上述边界扩展区域等宽的像素，得到和参考视点深度图等大的最左边虚拟视点的深度图和最右边虚拟视点的深度图；22)：对虚拟视点的深度图做前后景标志，定义dflag(i，j)表示深度图前后景标志图像中点(i，j)的前后景标志值；逐行检测每一个空洞，假设点(i，h)为空洞的最左边像素点，点(i，k)为空洞的最右边像素点，提取像素点(i，h‑1)的深度值并设为depthL，提取像素点(i，k+1)的深度图值并设为depthR，如果depthL大于depthR，则dflag(i,h)设为1，dflag(i,k)设为0，如果相反，则dflag(i,h)设为0，dflag(i,k)设为1，对于其他未设置的点如果点(i，j)的深度图值为0，则dflag(i，j)＝0，如果点(i，j)深度图值大于0，则dflag(i，j)＝1，保存深度图前后景标志图像；23)：使用基于深度图的快速行进修补算法填补虚拟视点的彩色图像的内部空洞，具体包括：2301)：根据虚拟视点的彩色图像制作二值修复模板，对二值修复模板内的每一个像素点(i，j)设置三个值，I、f和T，I(i，j)表示点(i，j)的像素值，f(i，j)表示点(i，j)的标志，f(i，j)为outside表示空洞外面，f(i，j)为narrowband表示空洞的边界，f(i，j)为inside表示空洞内部，narrowband和inside都表示是待修复区域，T(i，j)表示点(i，j)到空洞边界的距离，在outside，T和I都已知，在narrowband，T和I未知但是待更新，在inside，T和I都未知；设IV(i,j)为虚拟视点的彩色图像中点(i,j)的像素值，如果虚拟视点的彩色图像中点(i，j)的IV(i,j)为0，则二值修复模板中I(i，j)为0，否则I(i，j)为1；2302)：在二值修复模板中,若I(i,j)＝0,说明该点在待修复区域内,令f(i,j)＝inside,T(i,j)＝10⁶；2303)：若I(i,j)＝1,说明该点在待修复区域外,令f(i,j)＝outside,T(i,j)＝0；2304)：若I(i,j)＝0，前后景标志图像中dflag(i,j)＝1,且点(i,j)的四邻域中存在点(x,y)满足I(x,y)＝1,令f(i,j)＝narrowband,T(i,j)＝0；2305)：将f值为narrowband的点放入一个栈中,它们按照T值从小到大顺序排列；2306)：从栈中选择具有最小T值的点,设为(x_min,y_min)；2307)：对虚拟视点的彩色图像中点(x_min,y_min)根据公式(1)修补,并且在二值修复模板中更新f(x_min,y_min)为outside，把点(x_min,y_min)从栈点集中删除；$I\left(P\right)=\frac{\underset{q\in B_{ϵ}}{\Sigma }w(p,q)[/\left(q\right)+▿/\left(q\right)(p-q)]}{\underset{q\in \mathrm{Bϵ}}{\Sigma }W(P,Q)}---\left(1\right)$其中，w(p,q)＝dir(p,q)×dst(p,q)×lev(p,q)，$\mathrm{dst}(p,q)=\frac{{d_0}^2}{{\left|\right|p-q\left|\right|}^2},\mathrm{lev}(p,q)=\frac{T_0}{(1+|T\left(P\right)-T\left(q\right)\left|\right)};$修复算法主要是采用领域内参考像素的加权平均值，领域则采用4领域法，即像素周围以4为半径的区域；其中，w(p,q)为加权系数，N(p)是T的梯度方向,在程序中d0、T0取值为1,‖p‑q‖是p点与q点的距离值；dir(p,q)是p点法线方向上的像素q对p点的影响；dst(p,q)表示q点和p点之间距离对修补p点的影响；lev(p,q)考虑的是等值线方向上的像素q对修补p点的影响；2308)将(x_min,y_min)的邻域点(x_min+1,y_min),(x_min‑1,y_min),(x_min,y_min+1)和(x_min,y_min‑1)中f值为inside的点加入到heap中；2309)：由公式(2)所示的Eikonal方程的差分形式更新邻域点的T值；[(T_ij‑T_xmin)⁺]²+[(T_ij‑T_ymin)⁺]²＝1          (2)其中，$T_{x\min }=\min (T_{i-1,j},T_{i+1,j}),T_{y\min }=\min (T_{i,j-1},T_{i,j+1}),{\left(x\right)}^{+}=\left\{\begin{array}{c}x,x>0\\ 0,x\le 0\end{array}\right.;$2310)：转步骤2305)；2311)：当栈中无新的像素加入时,说明待修复区域已经填充好,结束循环；步骤3)：采用双向DIBR进行中间虚拟视点综合；所述步骤3)具体包括：31)左边中间虚拟视点构建及32)右边中间虚拟视点构建；其中，31)左边中间虚拟视点构建具体包括：对于最左边虚拟视点与作为中间视点的参考视点之间的的每一个左虚拟视点V(x,y)，先使用参考视点进行3D渲染到此左虚拟视点，得到左虚拟视点的主图像v₁(x,y)；然后对最左边的虚拟视点进行3D渲染到此左虚拟视点，得到左虚拟视点的辅助图像v₂(x,y)；最终，通过公式(3)得到左虚拟视点V(x,y)，即对左虚拟视点的主图像中的空洞，寻找虚拟视点的辅助图像中相对应位置的像素进行填充；32)右边中间虚拟视点构建具体包括：对于最右边虚拟视点与作为中间视点的参考视点之间的的每一个右虚拟视点V(x,y)，先使用参考视点进行3D渲染到此右虚拟视点，得到右虚拟视点的主图像v₁(x,y)；然后对最右边的虚拟视点进行3D渲染到此右虚拟视点，得到右虚拟视点的辅助图像v₂(x,y)；最终，通过公式(4)得到右虚拟视点V(x,y)，即对右虚拟视点的主图像中的空洞，寻找右虚拟视点的辅助图像中的相对应位置的像素值进行填充；步骤4)：把参考视点和左右两边的虚拟视点结合在一起形成多视点3D视频。