一种基于深度图像绘制的立体视频编码方法

摘要

本发明公开了一种基于深度图像绘制的立体视频编码方法，其通过基于深度图像绘制的方法，将原始左视点彩色图像从左视点投影到右视点，得到原始右视点彩色图像与原始右视点彩色图像的绘制图像的残差图像，并对残差图像进行预处理操作，然后对原始左视点图像和预处理后的残差图像进行编码，最后根据解码后的右视点彩色图像的绘制图像和解码后的残差图像，得到解码后的右视点彩色图像的最终重构图像，本发明方法在保证较高的右视点彩色图像的重构质量的前提下，大大提高了立体视频的编码效率。

主权项

1.一种基于深度图像绘制的立体视频编码方法，其特征在于包括以下步骤：①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成；②将t时刻的原始左视点彩色图像记为将t时刻的原始左视点深度图像记为将t时刻的原始右视点彩色图像记为将t时刻的原始右视点深度图像记为其中，i＝1，2，3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x，y)表示彩色图像或深度图像中像素点的坐标位置，1≤x≤W，1≤y≤H，W表示彩色图像或深度图像的宽度，H表示彩色图像或深度图像的高度，表示t时刻的原始左视点彩色图像中坐标位置为(x，y)的像素点的第i个分量的值，表示t时刻的原始左视点深度图像中坐标位置为(x，y)的像素点的深度值，表示t时刻的原始右视点彩色图像中坐标位置为(x，y)的像素点的第i个分量的值，表示t时刻的原始右视点深度图像中坐标位置为(x，y)的像素点的深度值；③采用基于深度图像绘制的方法，将t时刻的原始左视点彩色图像从左视点投影到右视点，得到t时刻的原始右视点彩色图像的绘制图像，记为其中，表示t时刻的原始右视点彩色图像的绘制图像中坐标位置为(x，y)的像素点的第i个分量的值；④计算t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像，记为$E_{t,i}^R(x,y)=I_{t,i}^R(x,y)-{\tilde{I}}_{t,i}^R(x,y),$其中，表示中坐标位置为(x，y)的像素点的第i个分量的值；⑤对t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像进行预处理操作，得到预处理后的t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像，记为其中，表示中坐标位置为(x，y)的像素点的第i个分量的值；⑥根据设定的编码预测结构对t时刻的原始左视点彩色图像进行编码，再将编码后的左视点彩色图像经网络传输给解码端；在解码端对编码后的左视点彩色图像进行解码，获得解码后的t时刻的左视点彩色图像，记为其中，表示解码后的t时刻的左视点彩色图像中坐标位置为(x，y)的像素点的第i个分量的值；⑦根据设定的编码预测结构对预处理后的t时刻的原始右视点彩色图像与t时刻的原始右视点彩色图像的绘制图像的残差图像进行编码，再将编码后的t时刻的残差图像经网络传输给解码端；在解码端对编码后的t时刻的残差图像进行解码，获得解码后的t时刻的残差图像，记为其中，表示解码后的t时刻的残差图像中坐标位置为(x，y)的像素点的第i个分量的值；⑧采用与步骤③相同的操作，将解码后的t时刻的左视点彩色图像从左视点投影到右视点，得到解码后的t时刻的右视点彩色图像的绘制图像，记为其中，表示解码后的t时刻的右视点彩色图像的绘制图像中坐标位置为(x，y)的像素点的第i个分量的值；⑨根据解码后的t时刻的右视点彩色图像的绘制图像和解码后的t时刻的残差图像得到解码后的t时刻的右视点彩色图像的最终重构图像，记为其中，表示解码后的t时刻的右视点彩色图像的最终重构图像中坐标位置为(x，y)的像素点的第i个分量的值。