一种三维立体视频编码方法

摘要

本发明公开了一种三维立体视频编码方法，其通过建立彩色视频与深度视频的码率分配模型，分别获得对立体彩色视频和立体深度视频编码的目标码率和初始编码量化参数，然后根据目标码率和初始编码量化参数分别对立体彩色视频和立体深度视频进行编码，在用户端利用解码得到的立体彩色视频数据和立体深度视频数据，采用基于深度图像的绘制得到虚拟视点图像，本发明方法在保证立体图像的整体质量的前提下，大大提高了虚拟绘制图像质量。

主权项

1.一种三维立体视频编码方法，其特征在于包括以下步骤：①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V；将介于左视点与右视点之间的视点作为虚拟视点；②建立原始左视点彩色视频与原始左视点深度视频的码率分配模型，以保证获得最优的编码性能和绘制质量；③根据原始左视点彩色视频与原始左视点深度视频的码率分配模型，获取原始左视点彩色视频与原始左视点深度视频的最佳码率比重，记为α^opt，并假定原始右视点彩色视频与原始右视点深度视频的最佳码率比重和原始左视点彩色视频与原始左视点深度视频的最佳码率比重一致；④根据设定的立体视频编码预测结构，对原始左视点彩色视频的第1个帧组和第2个帧组的各个原始左视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，统计得到对原始左视点彩色视频的第1个帧组和第2个帧组的所有原始左视点彩色图像的亮度分量Y进行编码的平均码率及对原始左视点彩色视频的第1个帧组和第2个帧组的所有原始左视点彩色图像的第一色度分量U和第二色度分量V进行编码的平均码率，分别记为和根据设定的立体视频编码预测结构，对原始右视点彩色视频的第1个帧组和第2个帧组的各个原始右视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，统计得到对原始右视点彩色视频的第1个帧组和第2个帧组的所有原始右视点彩色图像的亮度分量Y进行编码的平均码率及对原始右视点彩色视频的第1个帧组和第2个帧组的所有原始右视点彩色图像的第一色度分量U和第二色度分量V进行编码的平均码率，分别记为和⑤根据和分别计算原始左视点彩色视频与原始右视点彩色视频的码率比重及原始左视点彩色视频的所有帧组的原始左视点彩色图像和原始右视点彩色视频的所有帧组的原始右视点彩色图像的第一色度分量U、第二色度分量V与原始左视点彩色视频的所有帧组的原始左视点彩色图像和原始右视点彩色视频的所有帧组的原始右视点彩色图像的亮度分量Y的码率比重，分别记为γ和η，⑥根据α^opt和γ，分别计算对原始左视点彩色视频进行编码的目标码率和对原始右视点深度视频进行编码的目标码率，分别记为和假定仅对原始右视点彩色视频的所有帧组的原始右视点彩色图像的亮度分量Y进行编码，则根据α^opt、γ和η，计算对原始右视点彩色视频进行编码的目标码率，记为假定将应当分配给原始右视点彩色视频的所有帧组的原始右视点彩色图像的第一色度分量U、第二色度分量V的码率都分配给原始左视点深度视频，则根据α^opt、γ和η，计算对原始左视点深度视频进行编码的目标码率，记为其中，R_c2表示对原始左视点彩色视频、原始右视点彩色视频、原始左视点深度视频和原始右视点深度视频进行编码的总码率；⑦根据对原始左视点彩色视频进行编码的目标码率获取在目标码率下对原始左视点彩色视频进行编码的初始编码量化参数，记为根据对原始右视点彩色视频进行编码的目标码率获取在目标码率下对原始右视点彩色视频进行编码的初始编码量化参数，记为根据对原始左视点深度视频进行编码的目标码率获取在目标码率下原始左视点深度视频的初始编码量化参数，记为根据对原始右视点深度视频进行编码的目标码率获取在目标码率下原始右视点深度视频的初始编码量化参数，记为⑧根据设定的立体视频编码预测结构，采用在目标码率下对原始左视点彩色视频进行编码的初始编码量化参数对原始左视点彩色视频的各个帧组中的各个原始左视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，得到左视点彩色视频码流；采用在目标码率下对原始右视点彩色视频进行编码的初始编码量化参数仅对原始右视点彩色视频的各个帧组中的各个原始右视点彩色图像的亮度分量Y进行编码，得到右视点彩色视频码流；⑨根据设定的立体视频编码预测结构，采用在目标码率下对原始左视点深度视频进行编码的初始编码量化参数对原始左视点深度视频的各个帧组中的各个原始左视点深度图像进行编码，得到左视点深度视频码流；采用在目标码率下对原始右视点深度视频进行编码的初始编码量化参数对原始右视点深度视频的各个帧组中的各个原始右视点深度图像进行编码，得到右视点深度视频码流；⑩根据设定的立体视频编码预测结构，逐帧输出左视点彩色视频码流、右视点彩色视频码流及左视点深度视频码流、右视点深度视频码流得到最终的编码码流，然后服务端通过网络将最终的编码码流传输给用户端；用户端分别对服务端发送来的左视点彩色视频码流、右视点彩色视频码流、左视点深度视频码流和右视点深度视频码流进行解码，得到左视点的彩色视频数据、右视点的彩色视频数据、左视点的深度视频数据和右视点的深度视频数据信息；然后利用解码得到的左视点的彩色视频数据、右视点的彩色视频数据和左视点的深度视频数据，通过色度重构操作重构获取解码得到的右视点的彩色视频数据中各个时刻的右视点彩色图像的第一色度分量U和第二色度分量V；根据解码得到的左视点的彩色视频数据中各个时刻的左视点彩色图像、重构得到的各个时刻的右视点彩色图像以及解码得到的左视点的深度视频数据中各个时刻的左视点深度图像、解码得到的右视点的深度视频数据中各个时刻的右视点深度图像，采用基于深度图像的绘制得到虚拟视点图像。