基于深度传感器的在线视频分割后的处理方法及系统

摘要

本发明公开了一种基于深度传感器的在线视频分割后的处理方法及系统，该方法包括：步骤1，深度传感器基于视频帧和其对应的深度图像提取特征，对所述特征进行视频帧前景、背景分割，得到二值图像；步骤2，对该二值分割图像中的前景孔洞进行检测和填充，得到前景孔洞填充后的二值图像；步骤3，对该前景孔洞填充后的二值图像进行边界优化，获取优化后的二值图像；步骤4，将该优化后的二值图像融合虚拟背景和所述视频帧，生成虚实融合图像。本发明解决了基于深度传感器的在线视频分割在深度非连续处容易出错和现有技术在准确度和实时性上存在顾此失彼的问题，提供了一种满足实时性要求的高质量的基于深度传感器的在线视频分割后处理方法和虚实融合系统。

主权项

一种基于深度传感器的在线视频分割后的处理方法，其特征在于，包括：步骤1，深度传感器基于视频帧和其对应的深度图像提取特征，对所述特征进行视频帧前景、背景分割，得到二值图像；步骤2，对该二值图像中的前景孔洞进行检测和填充，得到前景孔洞填充的二值图像；步骤3，对该前景孔洞填充的二值图像进行边界优化，获取优化后的二值图像，其中所述步骤3包括：步骤301，获取所述前景孔洞填充的二值图像的前景、背景边界过渡区域；步骤302，计算所述边界过渡区域中每个像素的局部alpha值，其中alpha值用于反映前景和背景的合成情况，alpha值取0到1之间的连续值，alpha值越趋近于0表示像素与背景越相似，alpha值越趋近于1表示像素与前景越相似；步骤303，计算所述边界过渡区域中每个像素相对前两帧的运动概率；步骤304，以运动概率为权值，计算所述边界过渡区域每个像素的时序分割结果和局部alpha值的加权和，得到混合alpha值；步骤305，判断所述混合alpha值是否大于给定的阈值T^f，大于时，将所述前景孔洞填充的二值图像上对应位置的像素置为1，表示该像素为前景；否则将所述前景孔洞填充的二值图像上对应位置的像素置为0，表示该像素为背景；步骤306，得到边界优化后的二值图像；步骤4，根据该优化后的二值图像融合虚拟背景和所述视频帧，生成虚实融合图像。