一种动态人脸稠密三维结构和运动场同时重建方法

摘要

本发明公开了一种动态人脸稠密三维结构和运动场同时重建方法，该方法属于图像三维重建及三维运动获取领域。该方法是从不同视角、相邻时刻图像特征点匹配出发，在局部构建时空块模型；通过非线性优化来确定时空块的三维结构和运动参数；用置信度优先的区域增长机制来同时重建物体稠密的三维结构和三维运动场。本发明克服了常规三维重建方法不能重建三维运动的缺陷，同时，克服了变分场景流方法不能处理较大运动的缺陷。本发明能够用于动画工业、人脸识别等领域中对人脸的精确建模和运动估计。

主权项

一种动态人脸稠密三维结构和运动场同时重建方法，其特征在于，所述方法包括如下步骤：步骤1：初始时刻对两个连续时刻t和t+1中N个视角共计2N张图像提取SIFT特征点；步骤2：通过对不同视角以及不同时间两两图像的SIFT特征点进行匹配得到一个三维点对的集合，该步骤中允许匹配错误；步骤3：构建优先级队列，队列初始为空；步骤4：对步骤2中得到的每个三维点对，建立9个参数的时空块模型，包括在t0时刻的平面参数以及t0到t1时刻的刚体运动参数；步骤5：对时空块模型的参数用Levenberg‑Marquardt算法进行优化，计算优化后的置信度，如果置信度大于阈值thre1则将该时空块存入优先级队列中，优先级队列的优先级由时空块的优化置信度决定；步骤6：从优先级队列中取出置信度最高的时空块；步骤7：计算时空块t时刻的中心在N个视角图像上的投影点，在投影点周围8*8邻域内查找未被已有成功优化时空块访问过的像素；步骤8：如果找到未被访问的像素，建立新的时空块模型，并优化参数，计算置信度，如果置信度大于阈值thre1则将该时空块存入优先级队列中；步骤9：重复步骤6至步骤8，直到队列为空。