一种面向多纹理多深度视频的相邻视差矢量获取方法

摘要

一种多纹理多深度视频编码中辅助视点编码中相邻视差矢量获取方法，属于3D-HEVC视频编码技术领域，其特征在于，改变第1个被搜索到的视差矢量即被当作最终视差矢量的准则，通过删除当前编码单元相邻的候选空间和时间编码单元位置中最少被搜索的位置，将相邻的候选空间和时间编码单元位置进行分组，将其搜索到的视差矢量按照采用率的比例组合为最终视差矢量的方法，能在保持了原有快速算法的效率前提下提升编码质量。本发明改变了原有方法通过删减搜索候选位置减少搜索次数的方式给编码质量带来的不足，能在保持了现有快速算法的效率前提下(解码时间缩短为原有97.1％，编码和虚拟视点合成时间不变)至少提升编码质量0.05％。

主权项

一种面向多纹理多深度视频编码中辅助视点编码中相邻视差矢量获取方法，其特征在于，是在计算机中依次按以下步骤仿真实现的：步骤(1)，计算机初始化：设置：按照通用测试条件对所选定序列的主视点以及当前辅助视点进行编码，编码软件采用3D‑HEVC视频编码软件HTM8.0版本作为编码平台；按照通用测试条件规定的纹理图和对应深度图量化参数分为第1组(40，45)，第2组(35，42)，第3组(30，39)，第4组(25，34)，其中括号中前面的数字代表纹理图量化参数，后面为深度图量化参数，共4组；以YUV为格式的3D‑HEVC国际标准测试视频序列包括：Newspaper_CC、GT fly、Undo dancer，Poznan_Hall2，Poznan_Street，Kendo，Balloons，每个测试序列包含3个纹理序列，以及对应3个深度序列；各个测试序列进行编码时输入编码器的3个视点顺序分别为：4‑2‑6，5‑9‑1，5‑1‑9，6‑7‑5，4‑5‑3，3‑1‑5，3‑1‑5，在对每个视点进行编码时采用纹理图编码完成后再进行深度图编码的顺序进行；步骤(2)，利用所述的视频编码软件HTM8.0对所述的3D‑HEVC国际标准测试视频序列Newspaper_CC、GT fly、Undo dancer，Poznan_Hall2，Poznan_Street，Kendo，Balloons，分别选取前n帧的所述主视点和辅助视点进行编码，n为大于等于40并小于等于60的自然数，对每个视点进行编码时采用纹理图编码完成后再进行深度图编码的顺序进行；在编码前n帧时，采用对当前编码单元相邻的候选空间和时间编码单元位置进行全位置搜索方法，并同时提取当前编码单元相邻的候选空间和时间编码单元位置的视差矢量采用率的信息，包括：对相邻的候选时间编码单元位置CTR和BR和对相邻的候选空间编码单元位置A1，B1，B0，A0，B2是否含有视差矢量或者运动补偿预测视差矢量的检测，以及通过对当前编码单元所有相邻的候选空间和时间编码单元位置找到的视差矢量或者运动补偿预测视差矢量信息指向的视差参考帧进行差值平方和计算，以差值平方和信息进行当前编码单元所有相邻的候选空间和时间编码单元位置找到的视差矢量采用率统计；；步骤(3)，对所述多纹理多深度视频中除主视点以外的所有辅助视点的编码帧的编码单元按照对当前编码单元相邻的候选空间和时间编码单元位置分组搜索并依采用率的比例组合为最终视差矢量方法进行相邻视差矢量获取，其步骤如下：步骤(3.1)，利用步骤(2)得到的当前编码单元相邻的候选空间和时间编码单元位置的视差矢量采用率的信息为分组搜索提供依据：首先针对相邻的候选时间和空间编码单元位置进行删除操作，删除视差矢量采用率最小的编码单元位置；针对删除之后剩余的相邻的候选空间和时间编码单元位置进行分组，得到参考搜索位置包含空间位置的A1，B1，B0，和A0以及时间参考位置的CRT；分组操作针对邻近位置的编码单元，其中B1和B0相邻，A1和A0相邻，则B1和相邻的B0分为一组，A1和相邻的A0分为另一组；步骤(3.2)，利用步骤(3.1)得到的当前编码单元对相邻的候选空间和时间编码单元搜索位置和分组信息进行相邻视差矢量的搜索和最终视差矢量的合成计算操作，其步骤如下：步骤(3.2.1)，设置获取视差矢量标志变量，视差矢量标志变量表征视差矢量是否获取，已获取则为1，未获取则为0值；视差矢量设定为初始的(0，0)，并按照在步骤(1)所述对每个视点进行编码时采用纹理图编码完成后再进行深度图编码的顺序进行；步骤(3.2.2)，在时间方向参考帧的相邻视差矢量获取方式为，检测视差矢量标志变量是否为0，为0则检测参考帧对应位置的CTR位置，如果视差矢量可以检测得到，则视差矢量标志变量设为1；步骤(3.2.3)，进行空间位置的视差补偿预测视差矢量检测，将A1和A0的分组标记为组1，B1和B0的组标记为组2；空间方向帧内相邻块视差补偿预测视差矢量获取方式为，检测视差矢量标志变量是否为0，为0则判断组1中A1，若A1中找到视差补偿预测视差矢量，再继续搜索A0，判断是否找到视差补偿预测视差矢量，若视差补偿预测视差矢量找到则将A1中的视差补偿预测视差矢量和A0中的视差补偿预测视差矢量基于步骤(3.1)中分组结合为A1位置视差矢量并采用，标志变量设置为1，若A0未找到视差补偿预测视差矢量，则采用A1中的视差补偿预测视差矢量，寻找程序终止跳出，后续位置不再遍历；若A1中未找到视差补偿预测视差矢量，则跳过A0直接检测B1位置的视差补偿预测视差矢量，若B1中找到视差补偿预测视差矢量，则判断B0位置是否找到视差补偿预测视差矢量，若视差补偿预测视差矢量找到则将B1中视差补偿预测视差矢量和B0中的视差补偿预测视差矢量以基于步骤(3.1)中分组结合为B2位置的视差矢量并采用，视差矢量标志变量设置为1；若组2中B1未找到视差补偿预测视差矢量则跳过步骤(3.2.3)；步骤(3.2.4)，进行空间位置的运动补偿预测视差矢量检测，将A1和A0的分组标记为组1，B1和B0的组标记为组2；空间方向帧内相邻块运动补偿预测视差矢量获取方式为，检测视差矢量标志变量是否为0，为0则判断组1中A1，若A1中找到运动补偿预测视差矢量，再继续搜索A0，判断是否找到运动补偿预测视差矢量，若运动补偿预测视差矢量找到则将A1中的运动补偿预测视差矢量和A0中的运动补偿预测视差矢量基于步骤(3.1)中分组结合为A1位置视差矢量并采用，标志变量设置为1，若A0未找到运动补偿预测视差矢量，则采用A1中的运动补偿预测视差矢量，寻找程序终止跳出，后续位置不再遍历；若A1中未找到运动补偿预测视差矢量，则跳过A0直接检测B1位置的运动补偿预测视差矢量，若B1中找到运动补偿预测视差矢量，则判断B0位置是否找到运动补偿预测视差矢量，若视运动补偿预测视差矢量找到则将B1中运动补偿预测视差矢量和B0中的运动补偿预测视差矢量以基于步骤(3.1)中分组结合为B2位置的视差矢量并采用，视差矢量标志变量设置为1；若组2中B1未找到运动补偿预测视差矢量则跳过步骤(3.2.4)；步骤(3.2.5)，判断深度优化标志，若标志位为1采用深度优化操作；首先将面找的最终视差矢量其指向的纹理块；将最终视差矢量指向的纹理块对应的深度块，搜索深度块4个角的像素位置的深度值选取其最大值；最后将这个最大值转换为深度优化后的视差矢量，转换公式为：$\overrightarrow{D}=f·l(\frac{d_{\max }}{255}·(\frac{1}{{\overrightarrow{Z}}_{\mathrm{near}}}-\frac{1}{{\overrightarrow{Z}}_{\mathrm{far}}})+\frac{1}{{\overrightarrow{Z}}_{\mathrm{far}}})$其中为深度优化后的视差矢量，f为摄像机焦距值，l为基线距离，d_max为搜索深度块4个角的像素位置的最大深度值，和为离摄像机最近和最远的位置坐标，其中f，l和都是摄像机参数表中的已有固定参数值。