一种基于深度图像绘制的立体视频编码方法

摘要

发明公开了一种基于深度图像绘制的立体视频编码方法，其通过基于深度图像绘制的方法，将原始左视点彩色图像从左视点投影到右视点，得到原始右视点彩色图像与原始右视点彩色图像的绘制图像的残差图像，并对残差图像进行预处理操作，然后对原始左视点图像和预处理后的残差图像进行编码，最后根据解码后的右视点彩色图像的绘制图像和解码后的残差图像，得到解码后的右视点彩色图像的最终重构图像，本发明方法在保证较高的右视点彩色图像的重构质量的前提下，大大提高了立体视频的编码效率。

主权项

1.一种基于深度图像绘制的立体视频编码方法，其特征在于包括以下步骤：①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成；②将t时刻的原始左视点彩色图像记为将t时刻的原始左视点深度图像记为将t时刻的原始右视点彩色图像记为将t时刻的原始右视点深度图像记为其中，i=1,2,3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x,y)表示彩色图像或深度图像中像素点的坐标位置，1≤x≤W，1≤y≤H，W表示彩色图像或深度图像的宽度，H表示彩色图像或深度图像的高度，表示t时刻的原始左视点彩色图像中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的原始左视点深度图像中坐标位置为(x,y)的像素点的深度值，表示t时刻的原始右视点彩色图像中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的原始右视点深度图像中坐标位置为(x,y)的像素点的深度值；③采用基于深度图像绘制的方法，将t时刻的原始左视点彩色图像从左视点投影到右视点，得到t时刻的原始右视点彩色图像的绘制图像，记为其中，表示t时刻的原始右视点彩色图像的绘制图像中坐标位置为(x,y)的像素点的第i个分量的值；④计算t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像，记为$E_{t,i}^R(x,y)=I_{t,i}^R(x,y)-{\tilde{I}}_{t,i}^R(x,y)$其中，表示中坐标位置为(x,y)的像素点的第i个分量的值；⑤对t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像进行预处理操作，得到预处理后的t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像，记为其中，表示中坐标位置为(x,y)的像素点的第i个分量的值；所述的步骤⑤的具体过程为：⑤-1、分别将t时刻的原始右视点彩色图像及t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像分成个互不重叠的4×4子块，定义t时刻的原始右视点彩色图像中的第k个4×4子块为当前第一子块，记为定义t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像中的第k个4×4子块为当前第二子块，记为其中，(x₃,y₃)表示当前第一子块或当前第二子块中的像素点的坐标位置，1≤x₃≤4,1≤y₃≤4，表示当前第一子块中坐标位置为(x₃,y₃)的像素点的第i个分量的值，表示当前第二子块中坐标位置为(x₃,y₃)的像素点的第i个分量的值；⑤-2、判断当前第二子块中坐标位置为(x₃′,y₃′)的像素点的各个分量的值是否为0，如果是，则Num₁=Num₁+1，其中，Num₁的初始值为0，1≤x₃′≤4,1≤y₃′≤4；⑤-3、返回步骤⑤-2继续对当前第二子块中剩余的像素点进行处理，直至当前第二子块中的4×4个像素点均处理完毕；⑤-4、判断Num₁/16>0.5是否成立，如果是，则将当前第二子块中的各个像素点的各个分量的值均设为0，否则，将当前第一子块中的各个像素点的各个分量的值赋给当前第二子块中坐标位置对应的像素点的对应分量；⑤-5、将当前第二子块中的各个像素点的各个分量的值作为预处理后的t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像中坐标位置对应的像素点的对应分量的值，将预处理后的t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像中坐标位置为(x₄,y₄)的像素点的第i个分量的值记为其中，(x₄，y₄)表示当前第二子块中坐标位置为(x₃,y₃)的像素点在t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像中的坐标位置，1≤x₄≤W,1≤y₄≤H；⑤-6、令k''=k+1，k=k''，将t时刻的原始右视点彩色图像中的下一个4×4子块作为当前第一子块，将t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像中的下一个4×4子块作为当前第二子块，返回步骤⑤-2继续执行，直至t时刻的原始右视点彩色图像及t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像中的个互不重叠的4×4子块均处理完毕，得到预处理后的t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像，记为其中，k″的初始值为0；⑥根据设定的编码预测结构对t时刻的原始左视点彩色图像进行编码，再将编码后的左视点彩色图像经网络传输给解码端；在解码端对编码后的左视点彩色图像进行解码，获得解码后的t时刻的左视点彩色图像，记为其中，表示解码后的t时刻的左视点彩色图像中坐标位置为(x,y)的像素点的第i个分量的值；⑦根据设定的编码预测结构对预处理后的t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像进行编码，再将编码后的t时刻的残差图像经网络传输给解码端；在解码端对编码后的t时刻的残差图像进行解码，获得解码后的t时刻的残差图像，记为其中，表示解码后的t时刻的残差图像中坐标位置为(x,y)的像素点的第i个分量的值；⑧采用与步骤③相同的操作，将解码后的t时刻的左视点彩色图像从左视点投影到右视点，得到解码后的t时刻的右视点彩色图像的绘制图像，记为其中，表示解码后的t时刻的右视点彩色图像的绘制图像中坐标位置为(x,y)的像素点的第i个分量的值；⑨根据解码后的t时刻的右视点彩色图像的绘制图像和解码后的t时刻的残差图像得到解码后的t时刻的右视点彩色图像的最终重构图像，记为其中，表示解码后的t时刻的右视点彩色图像的最终重构图像中坐标位置为(x,y)的像素点的第i个分量的值；所述的步骤⑨的具体过程为：⑨-1、根据解码后的t时刻的右视点彩色图像的绘制图像和解码后的t时刻的残差图像得到解码后的t时刻的右视点彩色图像的初始重建图像，记为其中，表示解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为(x,y)的像素点的第i个分量的值；⑨-2、计算解码后的t时刻的右视点彩色图像的初始重建图像的空洞掩膜图像，记为如果则$M_t^R(x,y)=0,$否则，$M_t^R(x,y)=1,$其中，表示解码后的t时刻的右视点彩色图像的初始重建图像的空洞掩膜图像中坐标位置为(x,y)的像素点的像素值；⑨-3、定义解码后的t时刻的右视点彩色图像的初始重建图像中当前正在处理的且在空洞掩膜图像中像素值为0的像素点为当前像素点；⑨-4、将当前像素点的坐标位置记为O，将当前像素点的像素值记为将与当前像素点相邻的东、南、西、北四个方向的像素点的坐标位置分别记为E、S、W、N，将解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为E、S、W、N的像素点的像素值分别记为将与当前像素点相邻的东北、西北、西南、东南四个方向的像素点的坐标位置分别记为NE、NW、SW、SE，将解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为NE、NW、SW、SE的像素点的像素值分别记为⑨-5、将解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为E的像素点的梯度值记为将解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为S的像素点的梯度值记为将解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为W的像素点的梯度值记为将解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为N的像素点的梯度值记为计算经过l′-1次迭代后的值，记为$|▿u_E^{(l^{\prime }-1)}|\approx \sqrt{{(u_E^{(l^{\prime }-1)}-u_O^{(l^{\prime }-1)})}^2+{[(u_{\mathrm{NE}}^{(l^{\prime }-1)}-u_{\mathrm{SE}}^{(l^{\prime }-1)})/2]}^2},$计算经过l′-1次迭代后的值，记为$|▿u_S^{(l^{\prime }-1)}|\approx \sqrt{{(u_S^{(l^{\prime }-1)}-u_O^{(l^{\prime }-1)})}^2+{[(u_{\mathrm{SW}}^{(l^{\prime }-1)}-u_{\mathrm{SE}}^{(l^{\prime }-1)})/2]}^2},$计算经过l′-1次迭代后的值，记为$|▿u_W^{(l^{\prime }-1)}|\approx \sqrt{{(u_W^{(l^{\prime }-1)}-u_O^{(l^{\prime }-1)})}^2+{[(u_{\mathrm{NW}}^{(l^{\prime }-1)}-u_{\mathrm{SW}}^{(l^{\prime }-1)})/2]}^2},$计算经过l′-1次迭代后的值，记为$|▿u_N^{(l^{\prime }-1)}|\approx \sqrt{{(u_N^{(l^{\prime }-1)}-u_O^{(l^{\prime }-1)})}^2+{[(u_{\mathrm{NW}}^{(l^{\prime }-1)}-u_{\mathrm{NE}}^{(l^{\prime }-1)})/2]}^2},$其中，表示当前像素点的像素值经过l′-1次迭代后的值，分别表示解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为E、S、W、N的像素点的像素值经过l′-1次迭代后的值，分别表示解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为NE、NW、SW、SE的像素点的像素值经过l′-1次迭代后的值，l′≥1；⑨-6、将当前像素点的重建像素值记为计算当前像素点的重建像素值经过l'次迭代后的值，记为其中，Ω_o={E,S,W,N}表示与当前像素点相邻的东、南、西、北四个方向的像素点的坐标位置的集合，表示解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为p的像素点的权重经过l′-1次迭代后的值，表示解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为p的像素点的加权系数经过l′-1次迭代后的值，表示解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为p的像素点的梯度值经过l′-1次迭代后的值，a表示修正值，表示解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为q的像素点的加权系数经过l′-1次迭代后的值，表示解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为q的像素点的梯度值经过l′-1次迭代后的值，表示解码后的t时刻的右视点彩色图像的初始重建图像中坐标位置为p的像素点的重建像素值经过l′-1次迭代后的值；⑨-7、将当前像素点的重建像素值作为解码后的t时刻的右视点彩色图像的最终重构图像中对应像素点的像素值，将解码后的t时刻的右视点彩色图像的初始重建图像中下一个待处理的且在空洞掩膜图像中像素值为0的像素点作为当前像素点，然后返回步骤⑨-4继续执行，直至解码后的t时刻的右视点彩色图像的初始重建图像中所有满足在空洞掩膜图像中像素值为0的像素点均处理完毕，得到解码后的t时刻的右视点彩色图像的最终重构图像，记为