一种适用于3D电视的DIBR系统

摘要

本发明公开了一种适用于3D电视的DIBR系统，通过参数设置模块将三维图像变换和空洞填充所需的参数存储起来，然后通过画家算法模块得到三维图像变换的扫描，即目标图像的绘制顺序，以避免目标图像中出现的褶皱现象；三维图像变换模块根据参数设置模块存储的参数以及扫描顺序进行三维图像变换，得到目标图像及其视差图；中值滤波模块对视差图进行滤波，然后依据校正后的视差图对目标图像的匹配误差进行校正，最后，空洞填充模块依据校正视差图，对目标图像进行空洞填充，得到空洞和褶皱减少的目标图像。

主权项

一种适用于3D电视的DIBR系统，其特征在于，包括：一参数设置模块，用于存放三维图像变换和空洞填充所需的参数，即目标图像的序号n，n为整数，取值范围为[‑4，4]，n＝0表示参考视图本身，n＜0表示目标图像位于参考图像左侧，为左视图；n＞0表示目标图像位于参考图像右侧，为右视图；比例因子r，其取值范围为[0，1542]；零视差平面所对应的灰度值Dzps，其取值范围是[0，255]；阈值点数len_bighole，其取值范围是[0，7]；膨胀像素点个数l，其取值范围是[0，7]；一画家算法模块，接目标图像序列号n，用于确定三维图像变换时，对参考图像的扫描顺序；n＜0表示目标图像位于参考图像左侧，n＞0表示目标图像位于参考图像右侧；当目标图像位于参考图像右侧时，扫描顺序为从左到右，从上到下；当目标图像位于参考图像左侧时，扫描顺序为从右到左，从上到下；三维图像变换模块，用于根据参数设置模块存储的参数、扫描顺序和输入的深度图像，对输入的参考图像Iref进行三维变换：依据画家算法模块确定的扫描顺序，遍历参考图像Iref中的像素点，并进行一下处理，对于参考图像Iref中第vref行第uref列的像素点uref，首先依据公式(1)计算其在目标图像Ides中对应的匹配像素点udes；其中 u des - u ref = n · r 4096 · ( D zps - D ( u ref , v ref ) ) v des = v ref , - - - ( 1 ) 其中，uref、vref分别为图像像素坐标系中参考图像Iref像素点的水平坐标和垂直坐标，udes、vdes分别为图像像素坐标系中目标图像Ides中对应参考图像像素点的水平坐标，D(uref，vref)表示深度图像中像素点(uref，vref)的灰度值；然后，像素点uref的像素值拷贝到像素点udes，将视差图M中的元素(uref，vref)置为udes‑uref；最后得到目标图像Ides及其视差图M；一中值滤波模块，用于接收三维图像变换输出目标图像Ides及其视差图M，然后进行以下处理：(1)、对视差图M进行中值滤波；(2)、根据滤波后的视差图M，得到目标图像Ides像素点在参考图像Iref上的匹配点坐标；(3)、判断匹配 点坐标是否落在参考图像Iref内，如果是，则将参考图像Iref上匹配点坐标处的像素值拷贝到目标图像Ides对应位置，否则，不处理；一空洞填充模块，用于接收中值滤波子模块输出的视差图M和目标图像Ides并根据画家算法模块输出的扫描顺序及参数设置模块中的参数，填充目标图像Ides中存在的空洞：(1)、检测较大空洞按行以从左到右的顺序遍历视差图M，若连续出现阈值点数len_bighole个及其以上的空洞点，则认为此处是较大空洞，记录下该较大空洞的起点和终点；(2)、膨胀较大空洞根据画家算法模块输出的扫描顺序，区分目标图像Ides是左视图还是右视图，如果是左视图，执行步骤a)；如图是右视图，执行步骤b)；a)、首先区分较大空洞边缘区域是背景像素点还是前景像素点：以视差图M中的较大空洞区域为中心，从左向右检测较大空洞右边缘非空洞点的视差值变化，当视差值在两相继的非空洞点处第一次出现跃变，并且跃变是从较小值跃变到较大值时，较大空洞右边缘区域为背景像素点，并记录下该较大视差值作为前景像素点视差值；当视差值在两相继的非空洞点处第一次出现跃变，并且跃变是从较大值跃变到较小值，或者视差值一致没有跃变时，较大空洞右边缘区域为前景像素点，并记录下第一个非空洞点的视差值作为前景像素点视差值；然后膨胀空洞边缘：若较大空洞右边缘区域为背景像素点，则较大空洞左右边缘为匹配误差区域，需要进行膨胀，将较大空洞的起点横坐标减去l个像素点和终点横坐标加上l个像素点作为目标图像中需要填充的空洞的起点和终点；若较大空洞右边缘区域为前景像素点，则较大空洞的左边缘为匹配误差区域，只膨胀较大空洞的左边缘，将较大空洞的起点横坐标减去l个像素点和终点维持不变作为目标图像中需要填充的空洞的起点和终点；b)、首先区分较大空洞边缘区域是背景像素点还是前景像素点：以视差图中的较大空洞区域为中心，从右向左检测较大空洞左边缘非空洞点的视差值变化，当视差值在两相继的非空洞点处第一次出现跃变时，并且跃变是从较大值跃变到较小值时，较大空洞左边缘区域为背景像素点，并记录下该较小视差值作为前景像素点视差值；当视差值在两相继的非空洞点处第一次出现跃变，并且跃 变是从较小值跃变到较大值，或者视差值一致没有跃变，较大空洞左边缘区域为前景像素点，并记录下第一个非空洞点的视差值作为前景像素点视差值；然后膨胀较大空洞边缘：若较大空洞左边缘区域为背景像素点，则较大空洞左右边缘为匹配误差区域，需要进行膨胀，将较大空洞的起点横坐标减去l个像素点和终点横坐标加上l个像素点作为目标图像中需要填充的空洞的起点和终点；若较大空洞左边缘区域为前景像素点，则较大空洞的右边缘为匹配误差区域，只膨胀较大空洞的右边缘，将较大空洞的起点维持不变和终点横坐标加上l个像素点作为目标图像中需要填充的空洞的起点和终点；在本步骤(2)中，膨胀的像素点个数l为误匹配像素点的个数，与深度图像估计的准确度有关，可根据生成的目标图像质量来调节，取值范围为0‑7；(3)、填充较大空洞将目标图像Ides中需要填充的空洞的起点、终点横坐标均减去前景像素点的视差值，得到需要在参考图像Iref中复制的像素点区域，然后，从参考图像Iref中复制该区域的像素点填充到目标图像Ides中需要填充的空洞区域，得到最终的目标图像Ides。