基于图像重投影的空洞填充方法

摘要

本发明公开了一种基于图像重投影的空洞填充方法，首先根据参考图像生成目标图像及非空洞矩阵，然后对原始的参考图像进行图像重投影生成与目标图像平行的参考图像；确定目标图像中除边缘空洞以外的所有空洞的边缘，采用三维图像逆变换方法将边缘像素点投影到平行参考图像中，然后根据边缘点在目标图像中的位置和平行参考图像相对于原始参考图像的旋转方向，复制像素点对该边缘点对应的空洞进行填充；最后，利用图像修复算法修复剩余空洞。相比于传统空洞填充方法，本发明可以提高填充结果图像的质量，并且时间复杂度也较低。

主权项

一种基于图像重投影的空洞填充方法，其特征在于，包括以下步骤：S1：根据参考图像I_r采用三维变换生成目标图像I_s，并得到目标图像对应的非空洞矩阵M，非空洞矩阵M的生成方法为：如果目标图像I_s中像素点(x,y)为空洞，非空洞矩阵M对应的元素值M(x,y)置0，如果为非空洞点，对应元素值置为该像素点的深度值；S2：采用图像重投影算法分别对参考图像I_r及其深度图像D进行重投影生成与目标图像I_s平行的参考图像I_r′及其深度图像D′；S3：当目标图像I_s为右视图，对非空洞矩阵M进行从左到右、从上到下的遍历，寻找得到除图像边缘空洞以外的所有空洞，将每个空洞右边的非空洞像素点作为右边缘u_s，该空洞含有的像素点数记为N；当目标图像I_s为左视图，对非空洞矩阵M进行从右到左、从上到下的遍历，寻找得到除图像边缘空洞以外的所有空洞，将每个空洞左边的非空洞像素点作为左边缘u_s，该空洞含有的像素点数记为N；S4：当目标图像I_s为右视图，依次对于步骤S3得到的每个空洞的右边缘u_s，判断是否为前景像素点，如果是，不作任何操作，否则将像素点u_s通过三维图像逆变换，投影到参考图像I_r′中的像素点u′_r，记像素点u′_r的坐标为(m,n)；如果像素点u′_r所在行的序号n大于等于W/2时，W表示原始参考图像的宽度，将像素点u′_r右边最近的N个像素点复制到像素点u_s左边的空洞中进行填充，否则进一步判断图像重投影时参考图像I′_r相对于原始参考图像I_r是否为顺时针旋转，如果是，则将像素点u′_r重置为像素点(m+λ,n)，λ表示预设的偏移量，取值范围λ≥1；如果是逆时针，则将像素点u′_r重置为像素点(m‑λ,n)，然后将像素点u′_r右边最近的N个像素点复制到像素点u_s左边的空洞中进行填充；当目标图像I_s为左视图，依次对于步骤S3得到的每个空洞的左边缘u_s，判断是否为前景像素点，如果是，不作任何操作，否则将像素点u_s通过三维图像逆变换，投影到参考图像I′_r中的像素点u′_r，记像素点u′_r的坐标为(m,n)；如果像素点u′_r所在行的序号n小于等于W/2时，将像素点u′_r左边最近的N个像素点复制到像素点u_s右边的空洞中进行填充，否则进一步判断图像重投影时参考图像I′_r相对于原始参考图像I_r是否为顺时针旋转，如果是，则将像素点u′_r重置为像素点(m‑λ,n)；如果是逆时针，则将像素点u′_r重置为像素点(m+λ,n)，然后将像素点u′_r左边最近的N个像素点复制到像素点u_s右边的空洞中进行填充；S5：采用图像修复算法对目标图像I_s中的剩余空洞进行填充。