基于联合优化的多摄像机动态场景3D重建方法

摘要

本发明公开了一种基于联合优化的多摄像机动态场景3D重建的方法。能够对时空一致态分割，方法鲁棒而且不需要对于背景的先验知识。此方法允许参与拍摄的多目摄性深度恢复和静态/动态双层分割同时进行求解，亦不需要精确的静态/动像机自由独立地移动，能处理仅个的摄像机拍摄的动态场景。步骤如下：利用每个时刻的跨越个摄像机的同步视频帧来初始化时刻的深度图；二、展开时空一致性深度优化及静态/动态双层分割，迭代地执行轮的时空一致性优化，实现高质量的动态3D重建。本发明不需要精确的静态/动态分割，并且对于复杂场景所产生的错误分割信息会更具有鲁棒性，在3D立体影像、3D动画、增强现实和运动捕获等领域将会有很高的应用价值。

主权项

一种基于联合优化的多摄像机动态场景3D重建的方法，其特征在于它的步骤如下：1）利用多视图几何方法结合DAISY特征向量，对于同一时刻的多目视频帧进行立体匹配，得到多目视频每一时刻的初始化深度图，并且对于遮挡区域出现的明显深度错误，利用同步帧之间的可见性图来加以处理以获得更为精确的初始深度；2）利用步骤1）得到的初始化的深度图，每个像素点具有两套变量需要推断：一为像素点深度值，二为像素点静态/动态分类，对像素点给出不同数据项惩罚函数来统一地衡量，对于静态点，用Bundle Optimization算法其数据项惩罚值，对于动态点，引入时空一致性约束来计算其数据惩罚值，然后迭代地优化方程，从而在优化深度图的同时对像素点的静态/动态标记进行推断。