一种多视点自由立体显示的三维增强现实方法

摘要

本发明公开了一种多视点自由立体显示的三维增强现实方法。它的步骤如下：1）双目相机立体拍摄自然场景；2）提取并匹配主相机图像的特征点，实时产生自然场景的三维点云图并计算相机参数；3）计算主相机图像对应的深度图，绘制虚拟视点图像及其深度图并作空洞修复；4）三维制作软件绘制三维虚拟模型，虚实融合模块实现多个视点图像的虚实融合；5）将多路虚实融合图像进行适当的合成；6）3D显示设备提供多视点立体显示。本发明采用双目相机立体拍摄，采用实时性较好的特征提取与匹配技术，不需在自然场景中作标记；虚实融合模块可以实现虚实场景的光照一致性和无缝融合；3D立体显示设备可提供多人多角度的裸眼多视点立体显示效果。

主权项

一种多视点自由立体显示的三维增强现实方法，其特征在于它的步骤如下：1）双目相机立体拍摄自然场景，获取一路主相机图像序列和一路辅相机图像序列并输入计算机；2）计算机中相机追踪模块提取主相机图像序列每一帧的特征点并匹配特征点，在追踪过程的初始化阶段，人工指定两个图像帧用于立体匹配，产生初始的三维点云图并建立世界坐标系，实时产生自然场景的三维点云图并计算主相机参数和辅相机参数；3）多视点重建模块根据主相机图像、辅相机图像、主相机参数和辅相机参数计算主相机图像对应的深度图，根据主相机图像、计算出的深度图和指定的虚拟相机参数，用DIBR算法计算多视点自由立体显示需要的多路虚拟视点图像及其深度图，对于虚拟视点图像中存在的空洞和遮挡区域，结合辅相机图像序列，采用深度辅助的时空一致空洞修复算法进行修复；4）由三维制作软件绘制三维虚拟模型，虚实融合模块根据主相机参数、三维点云图和三维虚拟模型、主视点深度图和虚拟视点深度图进行三维注册，实现虚实融合，光照计算单元计算虚实场景光照，实现虚实光照一致性，无缝融合单元平滑扩散虚实边界的差异性；5）显示处理模块把主相机图像形成的主视点虚实融合图像，多个虚拟视点图像形成的虚拟视点虚实融合图像进行适当的合成，以适合多视点观察的需要；6）三维显示器提供裸眼的、适合多人多角度观察的虚实融合图像。