一种Kinect深度视频时空联合修复方法

摘要

一种Kinect深度视频时空联合修复方法。基于具有相似颜色的邻域像素应当具有相似的深度值这一假设，对于第一帧深度图像和其后所有帧深度图像中提取出的运动区域，使用对应彩色图像的颜色分割图来引导深度填充。考虑到一些没有有效深度值的颜色偏暗区域的存在可能导致上述方法的失败，先检测出颜色偏暗区域，然后用相同颜色偏暗区域内的有效深度值修复空洞区域。对于Kinect拍摄到的深度视频中的静止区域，如果当前帧深度图出现空洞像素，则用前一帧深度图的对应位置深度值填充。使用基于深度图像的绘制技术绘制虚拟视点，本发明提出的方法对应得到的虚拟右视图的图像质量明显高于原始虚拟右视图的图像质量，可应用于3D绘制。

主权项

一种Kinect深度视频时空联合修复方法，其特征在于，包括步骤有，步骤S1：对第一帧深度图，通过使用mean‑shift算法对彩色图像进行颜色分割以获取对应的颜色分割，接着对颜色分割进行八联通域分割来进一步分离出各个连续的颜色块，当每一个颜色块内有效深度值所占比例超过一定阈值后，用该颜色块内所有有效深度值的中值填充空洞像素；步骤S2：对于经过步骤S1修复后的第一帧深度图，通过将对应原始彩色RGB图像转换为YCbCr图像，对Y,Cb,Cr三分量分别设置阈值，将满足所有阈值条件的区域提取出来作为颜色偏暗区域，设luma(i,j)为点(i,j)的Y分量值，blue_diff(i,j)为蓝色色度差值，red_diff(i,j)为红色色度差值，T_luma,T_{blue_diff}和T_{red_diff}都是用大津法计算出来的阈值，λ是设置为0.8的参数，采用下式后具有非零亮度值的区域就是颜色偏暗区域$\mathrm{luma}(i,j)=\left\{\begin{array}{cc}\mathrm{luma}(i,j)& \mathrm{if}\left\{\begin{array}{c}\mathrm{luma}(i,j)\le \lambda T_{\mathrm{luma}}\\ \mathrm{blue}\_\mathrm{diff}(i,j)\le T_{\mathrm{blue}\_\mathrm{diff}}\\ \mathrm{red}\_\mathrm{diff}(i,j)\le T_{\mathrm{red}\_\mathrm{diff}}\end{array}\right.\\ 0& \mathrm{Otherwise}\end{array}\right.$找到偏暗区域后，将空间上相连的区域标定为同块区域，使用同块区域内所有有效深度值的中值填充该块内的空洞像素，最后使用膨胀腐蚀操作修复深度图像中细小空洞区域；步骤S3：对于第一帧之后的所有深度图像，通过对前后两帧彩图的灰度图进行差值处理，找出运动像素点，然后再将包含运动像素点的最小矩阵找出来，矩阵区域即视为运动区域，最后对运动区域进行步骤S1使用的空间修复；步骤S4：对于第一帧之后的所有深度图像，在抠出矩形运动区域后，剩余的部分即是背景静止区域；若在静止区域出现空洞像素点，则用前一帧修复好的深度图的对应位置的深度值进行修复。