一种用于三维立体视频的深度图片的上采样方法

摘要

本发明涉及一种用于三维立体视频的深度图片的上采样方法，属于图像处理技术领域。首先训练三个相互关联的数据库：低分辨率深度图片块库，彩色图片块库和高分辨率深度图片块库，利用三个数据库，当输入一个新的低分辨率深度图及其对应的彩色图片库时，将其分割成图片块，然后联合求解其在低分辨率深度图片库和彩色图片库中的稀疏线性表示，利用线性表示在高分辨率图片库上重构高分辨率深度图片。本发明使用学的方法，得到比传统方法更高的深度图片恢复质量，训练的时候联合了彩色图片，保证了质量恢复的效果。使用本发明方法，可以得到很高质量的高分辨率深度图片，通过实验验证，该方法尤其对采集到的深度图片质量极低的情况有更理想的效果。

主权项

1.一种用于三维立体视频的深度图片的上采样方法，其特征在于该方法包括以下步骤：（1）定义α为对三维立体视频深度图片的上采样率，S_L为将低分辨率三维立体视频的深度图片分成像素块的大小，S_H为将对低分辨率三维立体视频的深度图片进行上采样后得到的高分辨率深度图片分成像素块的大小以及将采集的彩色图片分成像素块的大小，S_H＝S_L×α；（2）分别提取低分辨率深度图片像素块、高分辨率深度图片像素块和采集的彩色图片像素块的特征值，提取过程如下：（2-1）对三维立体视频的低分辨率深度图片使用双线性内插方法，对低分辨率深度图片以上采样率α进行上采样，得到初始高分辨率深度图片H^int，然后将H^int分为大小为S_H×S_H的像素块，从大小为S_H×S_H的像素块中提取该像素块在横向、竖向两个方向上的一阶、二阶梯度共四个特征值L_i；（2-2）将对低分辨率三维立体视频的深度图片进行上采样后得到的高分辨率深度图片分成大小为S_H×S_H的像素块通过计算得到高分辨率深度图片像素块的特征值H_i：其中为与大小相等的像素块，且像素块中的每个像素点的深度值等于像素块中各像素点深度值的平均值；（2-3）对采集的彩色图片用边缘检测算法进行边缘提取，得到初始边缘图像C^raw，去除边缘图像C^raw中因为物体纹理产生的伪物体边缘，得到边缘图像将边缘图像C分成大小为S_H×S_H的像素块，C中的每个像素块作为采集的彩色图片中对应位置的像素块的特征值C_i；（3）建立三个相互关联的低分辨率深度图片像素块库D_L、采集的彩色图片像素块库D_C和高分辨率深度图片像素块库D_H，建立过程包括以下步骤：（3-1）从同一场景中采集低分辨率深度图片、高分辨率彩色图片和标准高分辨率深度图片；（3-2）分别将上述采集到的低分辨率深度图片、高分辨率彩色图片和标准高分辨率深度图片分割成为像素块，将在低分辨率深度图片、高分辨率彩色图片和标准高分辨率深度图片中位置相对应的像素块定义为一个像素块组，得到多个像素块组，从多个像素块组中随机抽取多个像素块组，使用上述步骤（2）的特征值提取方法，分别对像素块组中的低分辨率深度图片像素块、高分辨率深度图片像素块和采集的彩色图片像素块进行特征值提取；（3-3）通过求解下式，得到三个相互关联的像素块库D_L、D_C和D_H，：$\underset{D_l,D_c,D_h,{\alpha }_i}{\min }\underset{i}{\Sigma }{\lambda }_l{\left|\right|D_l{\alpha }_i-L_i\left|\right|}_2^2+{\lambda }_c{\left|\right|D_c{\alpha }_i-C_i\left|\right|}_2^2+{\left|\right|D_h{\alpha }_i-H_i\left|\right|}_2^2$其中||α_i||₁≤ε，其中，L_i为低分辨率深度图片像素块特征值，C_i为高分辨率彩色图片像素块特征值，H_i为高分辨率深度图片像素块特征值，λ_l、λ_c为对应项的权重，取值为大于零的实数，α_i为系数变量，ε为一个大于零的实数；（4）根据上述得到的相互关联的低分辨率深度图片像素块库D_L、采集的彩色图片像素块库D_C和高分辨率深度图片像素块库D_H，对输入的低分辨率深度图片进行上采样，上采样过程包括以下步骤：（4-1）将输入的低分辨率深度图片采用双线性内插方法进行上采样，使用联合彩色图片双边滤波方法对得到的上采样图片进行滤波，得到分辨率为目标分辨率的高分辨率深度图片H^b；（4-2）使用上述步骤（2）的特征值提取方法，分别提取输入的低分辨率深度图片像素块的特征值L_i′、输入的彩色图片像素块的特征值C_i′，以及上述步骤（4-1）的高分辨率深度图片H^b像素块的特征值（4-3）使用下列映射函数，得到与输入的低分辨率深度图片像素块L_i′相对应的高分辨率深度图片像素块H_i′，映射函数如下：H_i′=D_hα^*${\alpha }^{*}=\underset{{\left|\right|\alpha \left|\right|}_1{\le ϵ}^{\prime }}{\mathrm{agr}\min }\{{{\lambda }_l}^{\prime }{\left|\right|D_l{\alpha }^{\prime }-L_i\left|\right|}_2^2+{{\lambda }_c}^{\prime }{\left|\right|D_c{\alpha }^{\prime }-C_i\left|\right|}_2^2+{{\lambda }_r}^{\prime }{\left|\right|D_h{\alpha }^{\prime }-H_i^b\left|\right|}_2^2\}$其中，λ_l′、λ_c′和λ_r′为对应项的权重，取值为大于零的实数，α′为系数变量，ε′为一个大于零的实数。