一种DIBR目标图像空洞填充修复处理方法

摘要

本发明提供了一种DIBR目标图像空洞填充修复处理方法，其针对左、右两侧中至少一侧相邻的非空像素点为背景像素点的“大空洞”采用了多次局部修复的特殊空洞填充修复方式，在每次进行局部修复的过程中，先通过优先级对比保证了被选定的待修补区块在背景像素分布、梯度、深度分布等方面具备更显著的参数特征，而后在通过基于SSD准则的匹配系数考量像素RGB值以及深度值的关联性来搜索匹配区块时，其搜索的目标性更强、匹配准确性更高，能够较好的保持前景物体的轮廓，避免在前景物体边缘出现伪像重叠失真现象，保证了空洞填充修复纹理的正确传播，大大减少了空洞填充修复区域与背景图像错位、断节、纹理错乱等不符合视觉心理的修复缺陷。

主权项

1.一种DIBR目标图像空洞填充修复处理方法，其特征在于，包括如下步骤：A）获取作为修复处理对象的DIBR目标图像及其对应的深度图像，并预先设定像素跨度阈值L_big、区块行像素尺寸参数m和区块列像素尺寸参数n；B）通过对DIBR目标图像中空洞像素点的识别，检测出DIBR目标图像中的各个空洞，并记录每个空洞的横向像素最大跨度，并将所述各个空洞的横向像素最大跨度与预设的像素跨度阈值L_big进行比较，将横向像素最大跨度小于像素跨度阈值L_big的空洞标记为第a类空洞，将横向像素最大跨度大于或等于像素跨度阈值L_big的空洞标记为第b类空洞；C）通过对DIBR目标图像进行前景和背景识别，判断每个第b类空洞左、右两侧相邻的非空像素点是否为前景像素点；若存在左、右两侧相邻的非空像素点均为前景像素点的第b类空洞，将之标记为第b1类空洞；将左、右两侧相邻的非空像素点中至少一侧为背景像素点的第b类空洞和位于DIBR目标图像边界上的第b类空洞均标记为第b2类空洞；D）对于第a类空洞，采用既有的空洞填充方法进行填充修复处理；对于第b1类空洞，采用基于视差图的空洞填充方法进行填充修复处理；对于第b2类空洞，分别对每个第b2类空洞按如下步骤Da）～Dd）所述方式进行填充修复处理：Da）确定该第b2类空洞当前的待修补区块；该步骤具体包括：da1）对该第b2类空洞重新进行空洞区域边缘识别，将与该第b2类空洞当前空洞区域边缘相邻的各非空像素点标记为轮廓像素点，从而由当前标记的各个轮廓像素点相连构成该第b2类空洞当前的非空像素轮廓；da2）确定当前标记的各个轮廓像素点的优先级；其中，当前标记的任意一个轮廓像素点p的优先级P(p)确定为：P(p)=C(p)·[r+s·DA(p)+t·DE(p)]；其中，优先级系数r、s、t均为常数，且s≥r≥t>0；C(p)表示轮廓像素点p的背景置信度系数，且：表示以轮廓像素点p为中心的像素尺寸为m行n列的区块；表示区块中所包含的像素点总数；表示区块中所包含的背景像素点数；DA(p)表示轮廓像素点p的边缘系数，且：$\mathrm{DA}\left(p\right)=n_p\times {\left({▿I}_p\right)}^{\perp };$n_p表示该第b2类空洞当前的非空像素轮廓在轮廓像素点p位置处的法线方向矢量；表示该第b2类空洞当前的非空像素轮廓在轮廓像素点p位置处的等照度方向矢量；DE(p)表示轮廓像素点p的深度系数，且：d_max表示DIBR目标图像对应的深度图像中的最大深度值；表示区块中的非空像素区域，p_un表示非空像素区域中的非空像素点，即Dep(p_un)表示非空像素区域中的非空像素点p_un在深度图像中对应的深度值；表示区块中所包含的像素点总数；优先级P(p)的值越大，表示轮廓像素点p的优先级越高；da3）比较当前标记的各个轮廓像素点的优先级；若其中优先级最高的轮廓像素点只有一个，将该优先级最高的轮廓像素点标记为待修补目标p_st；若其中优先级最高的轮廓像素点有多个，则选择一个优先级最高的轮廓像素点标记为待修补目标p_st；da4）将以所述待修补目标p_st为中心的像素尺寸为m行n列的区块作为当前的待修补区块Db）在DIBR目标图像中搜索与当前的待修补区块最匹配的像素尺寸为m行n列的区块作为匹配区块其中，I表示DIBR目标图像，表示在DIBR目标图像中的任意一个不同于当前待修补区块的像素尺寸为m行n列的区块；表示区块与当前的待修补区块的匹配系数，匹配系数的值越小，表示区块与当前的待修补区块越匹配；表示区块与当前的待修补区块中各对应像素点RGB值的平方差之和，即：表示当前的待修补区块中第i行第j列位置上像素点的RGB值，表示区块中第i行第j列位置上像素点的RGB值；i∈{1,2,…,m}，j∈{1,2,…,n}；表示区块与当前的待修补区块中各对应像素点深度值的平方差之和，即：表示当前的待修补区块中第i行第j列位置上像素点的深度值，表示区块中第i行第j列位置上像素点的深度值；i∈{1,2,…,m}，j∈{1,2,…,n}；Dc）搜索匹配区块中与当前的待修补区块中空洞像素点位置相对应的背景像素点，用以分别填充当前的待修补区块中对应位置的空洞像素点，并以匹配区块中每个用于填充的背景像素点的深度值分别更新其填充的当前待修补区块中的空洞像素点在深度图像中的深度值；Dd）判断该第b2类空洞是否已被完全填充，若否，则重复步骤Da）～Dc）；直至该第b2类空洞中的所有空洞像素点被完全填充，则对该第b2类空洞的填充修复处理完成。