一种基于深度信息的多视点立体视频错误隐藏方法

摘要

本发明提出一种基于深度信息的多视点立体视频错误隐藏方法，属于视频图像处理领域，该错误隐藏方法包括步骤一：采用语法检测和相关性检测的两步错误检测法检测发生错误宏块的位置；步骤二：结合深度信息来估计发生错误宏块的编码模式，选择邻近宏块中深度与待重建的错误宏块深度最为接近的宏块的编码模式：步骤三：重建错误宏块：本发明提供一种基于深度信息的多视点立体视频错误隐藏方法，错误检测的定位准确度较高，计算复杂度较低，以不同方法隐藏图像的背景、运动复杂区域和运动规则区域，具有广泛的适用性，对图像的纹理处也有较好的隐藏效果。

主权项

1.一种基于深度信息的多视点立体视频错误隐藏方法，其特征在于：包括以下几个步骤：步骤一：采用语法检测和相关性检测的两步错误检测法检测发生错误宏块的位置：1.1：语法检测过程：1.1.1：判断解码器检测视频码流是否满足视频编码压缩标准H.264的视频码流条件，当前条带中所有的宏块的码流全部满足视频码流条件，则当前条带中所有的宏块均正确，不存在错误宏块；当解码器检测视频码流不满足视频码流条件中任一个条件时，多视点立体视频码流中发生语法错误，将当前检测到的错误宏块的错误标志位ei_flag由0设置为1，完成当前条带中错误宏块的查找，终止当前条带中宏块的解码；1.1.2：判断是否完成一帧图像的中所有条带的解码，如果完成，则进入步骤1.2，如果未完成，返回步骤1.1.1，从下一个条带的第一个宏块继续解码，直至完成对整帧图像的所有条带的解码，找到所有条带中存在的错误宏块；1.2：相关性检测过程：对步骤1.1中检测到的所有错误宏块所在的条带依次进行相关性检测，从其中的第一个条带的第一个宏块开始进行相关性检测确定初始错误宏块：相关性检测包括两种边界相关性检测方法和帧间相关性检测方法，对I帧的条带中的宏块和右视点第一个P帧的条带中的宏块采用边界相关性检测，对其余P帧采用帧间相关性检测；1.2.1：边界相关性检测方法：边界相关性为宏块内像素与其外部像素的相关性，通过边界平均样本差AIDB表示，M×M大小宏块的边界平均样本差AIDB为：$\mathrm{AIDB}=\frac{\underset{i=1}{\overset{M\times k}{\Sigma }}|I_i^{\mathrm{in}}-I_i^{\mathrm{out}}|}{M\times k}$其中k为当前待检测宏块的上下左右四个相邻宏块中可用的个数，M×M表示待检测宏块大小；和分别表示当前待检测宏块内外部对应位置像素值，i为整数，取值范围是[1，M×k]；选定亮度分量的边界相关性门限thresholdAIDB_Y和色度分量的边界相关性门限thresholdAIDB_U分别对像素的亮度分量和色度分量进行检测，亮度分量Y的边界相关性为AIDB_Y，门限为thresholdAIDB_Y，色度分量U的边界相关性为AIDB_U，门限为thresholdAIDB_U，当AIDB_Y＞thresholdAIDB_Y或AIDB_U＞thresholdAIDB_U时，该宏块是初始错误宏块，否则该宏块为正确宏块；1.2.2：帧间相关性检测方法：帧间相关性为指时间域上或空间域上相邻两帧图像相同位置像素的相关性，通过帧间平均样本差AIDF表示，帧间相关性检测分两种：一种为左视点的帧间相关性，是当前宏块与前一时刻相同位置宏块各像素的平均绝对差值，另一种为右视点的帧间相关性，是当前宏块与左视点同一时刻相同位置宏块各像素的平均绝对差值；M×M大小宏块的帧间平均样本差AIDF为$\mathrm{AIDF}=\frac{1}{M\times M}\underset{y-0}{\overset{M-1}{\Sigma }}\underset{x-0}{\overset{M-1}{\Sigma }}|I^{\mathrm{cur}\_\mathrm{mb}}(x,y)-I^{\mathrm{pre}\_\mathrm{mb}}(x,y)|$其中，I^cur_mb(x，y)是当前宏块内(x，y)位置处像素值，I^pre_mb(x，y)是相邻帧中对应宏块内(x，y)位置处像素值；选定亮度分量Y的帧间相关性门限thresholdAIDF_Y和色度分量U的帧间相关性门限thresholdAIDF_U分别对像素的亮度分量和色度分量进行检测，亮度分量Y的帧间相关性为AIDF_Y，门限为thresholdAIDF_Y，色度分量U的帧间相关性为AIDF_U，门限为thresholdAIDF_U；当AIDF Y＞thresholdAIDF_Y或AIDF_U＞thresholdAIDF_U时认为该宏块是初始错误宏块，否则该宏块为正确宏块；用相关性检测法检测到一个条带中发生错误的初始错误宏块的位置后，将宏块所在条带中错误宏块后面的宏块也标记为错误宏块；若步骤(2)的相关性检测在各条带中没有找到初始错误宏块，则步骤(1)中得到的错误宏块为初始错误宏块，将该初始错误宏块后面的宏块也标记为错误宏块，完成一帧图像所有错误宏块的错误检测；步骤二：结合深度信息来估计发生错误宏块的编码模式，选择邻近宏块中深度与待重建的错误宏块深度最为接近的宏块的编码模式：双视加深度格式的立体视频右视点中的宏块采用三种模式编码：帧内预测编码模式、运动预测编码模式和视差预测编码模式，将右视点中的错误宏块进行拆分，拆分得到多个错误子块分别重建，拆分方法为4个8×8块错误子块或16个4×4块错误子块分别重建或以整宏块不拆分形式进行重建，将与待重建错误子块相邻的正确宏块进行拆分，得到16个4×4块正确子块，待重建错误子块与错误子块相邻的所有4×4块正确子块的编码模式、参考帧、运动矢量或视差矢量相同或不相同；若待重建错误子块相邻的各个4×4块正确子块的编码模式相同，则此错误子块的编码模式与相邻的4×4块正确子块的编码模式相同，若与待重建错误子块相邻的各个4×4块正确子块的编码模式不完全相同，借助深度信息得到待重建错误子块的编码模式，在立体视频当前解码的彩色视频图的对应深度图中找到待重建错误子块及其相邻各个4×4块正确子块的相同坐标位置的对应块，分别计算深度图中各个错误子块的对应块的灰度平均值以及深度图中各个4×4块正确子块的对应块的灰度平均值，然后在与待重建错误子块所相邻的正确子块中，找到与待重建错误子块对应块灰度值最为接近的4×4块正确子块，将该4×4块正确子块的编码模式作为待重建错误子块的估计编码模式；步骤三：重建错误宏块：得到错误宏块的各错误子块的编码模式后，利用相应错误隐藏方法对各错误子块分别进行重建，如果待重建错误子块为帧内编码模式，则此错误子块由周围正确宏块加权插值重建；如果待重建错误子块为运动预测模式，则以相邻4×4块正确子块的运动矢量MV为候选运动矢量，通过边界匹配算法；如果待重建错误子块估计为视差预测模式，采用类似边界匹配算法的方式重建，设置运动矢量为视差矢量，设置候选视差矢量为周围临近4×4块正确子块的视差矢量DV。