一种立体视频宏块丢失错误隐藏方法

摘要

本发明公开了一种立体视频宏块丢失错误隐藏方法，其首先确定丢失宏块属于左边界遮挡区域或右边界遮挡区域还是属于非边界遮挡区域，然后对属于非边界遮挡区域的丢失宏块，根据宏块的运动与静止特性将其归为运动宏块或静止宏块，接着利用宏块的人眼敏感度特性将运动宏块归为敏感块或不敏感块，再利用宏块的纹理与平滑特性将敏感块归为纹理块或平滑块，对属于左边界遮挡区域或右边界遮挡区域的丢失宏块、静止宏块、不敏感块、纹理块、平滑块分别采用时域运动补偿预测、时域帧拷贝、视差补偿预测、多方向插值、线性插值的方式恢复丢失宏块，由于本发明方法根据不同特性的宏块采用自适应的恢复策略，因此有效地提高了恢复的宏块的主客观质量。

主权项

1.一种立体视频宏块丢失错误隐藏方法，其特征在于包括以下步骤：①假设立体视频中t时刻的右视点图像为丢失帧，记为将立体视频中已正确解码的t-1时刻的右视点图像记为将立体视频中已正确解码的t-2时刻的右视点图像记为将立体视频中已正确解码的t时刻的左视点图像记为将立体视频中已正确解码的t-1时刻的左视点图像记为②采用移动帧差法计算与之间的全局视差矢量，记为d_G，$d_G=\arg \min \left(\frac{\underset{(x,y)\in D}{\Sigma }|P_{t-1}^r(x,y)-P_{t-1}^l(x+d,y)|}{(W-|d\left|\right)\times H}\right),$其中，$\arg \min \left(\frac{\underset{(x,y)\in D}{\Sigma }|P_{t-1}^r(x,y)-P_{t-1}^l(x+d,y)|}{(W-|d\left|\right)\times H}\right)$表示取最小值时位移d的值，D表示中宽为W-|d|且高为H的窗口，符号“||”为取绝对值符号，此处1≤x≤W,1≤y≤H且(x,y)∈D，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x+d,y)的像素点的像素值，-W/λ₁≤d≤W/λ₁，λ₁表示位移d的判断阈值；③将中从左边界起的宽度为C个宏块的宽度且高度为H的区域定义为左边界遮挡区域，将中从右边界起的宽度为C个宏块的宽度且高度为H的区域定义为右边界遮挡区域，将中除左边界遮挡区域和右边界遮挡区域外的区域定义为非边界遮挡区域，其中，符号为向下取整符号，符号“||”为取绝对值符号；④将中当前检测到的丢失的宏块定义为当前丢失宏块；⑤判断当前丢失宏块属于左边界遮挡区域或右边界遮挡区域还是属于非边界遮挡区域，如果属于左边界遮挡区域或右边界遮挡区域，则采用时域运动补偿预测方法恢复当前丢失宏块的亮度信息和色度信息，然后执行步骤⑨，如果属于非边界遮挡区域，则执行步骤⑥；⑥根据d_G对中与当前丢失宏块的坐标位置相同的宏块进行水平位移，然后将中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块划分为多个互不重叠的第一图像块，接着确定中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块中的每个第一图像块为静止块还是为运动块，再确定中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块为静止宏块还是为运动宏块；将中与当前丢失宏块的坐标位置相同的宏块划分为多个互不重叠的且尺寸大小与第一图像块相同的第二图像块，接着确定中与当前丢失宏块的坐标位置相同的宏块中的每个第二图像块为静止块还是为运动块，再确定中与当前丢失宏块的坐标位置相同的宏块为静止宏块还是为运动宏块；最后根据中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块和中与当前丢失宏块的坐标位置相同的宏块，确定当前丢失宏块为静止宏块还是为运动宏块，如果当前丢失宏块为静止宏块，则采用时域帧拷贝的方法恢复当前丢失宏块的亮度信息和色度信息，再执行步骤⑨，否则，执行步骤⑦；⑦获取的全局双目恰可觉察失真阈值图，记为JND_dr，然后根据JND_dr中的每个宏块中的所有像素点的全局双目恰可觉察失真阈值的均值，确定当前丢失宏块为不敏感块还是为敏感块，如果当前丢失宏块为不敏感块，则采用视差补偿预测方法恢复当前丢失宏块的亮度信息和色度信息，然后执行步骤⑨，如果当前丢失宏块为敏感块，然后执行步骤⑧；⑧将当前丢失宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块中已正确解码的宏块作为可用宏块，然后对每个可用宏块进行DCT变换得到每个可用宏块中的每个像素点的交流系数，接着根据每个可用宏块中的所有像素点的交流系数的总能量，计算每个可用宏块的图像细节程度评价因子，再根据每个可用宏块的图像细节程度评价因子，确定每个可用宏块为纹理块还是为平滑块，最后根据当前丢失宏块对应的可用宏块为纹理块的个数和为平滑块的个数，确定当前丢失宏块为纹理块还是为平滑块，如果当前丢失宏块为纹理块，则采用空域多方向插值的方法恢复当前丢失宏块的亮度信息和色度信息，然后执行步骤⑨，如果当前丢失宏块为平滑块，则采用空域线性插值的方法恢复当前丢失宏块的亮度信息和色度信息，然后执行步骤⑨；⑨将中检测到的下一个丢失的宏块作为当前丢失宏块，然后返回步骤⑤继续执行，直至中的所有丢失的宏块的亮度信息和色度信息恢复完毕。