一种用于立体显示的虚实融合图像生成方法

摘要

本发明公开了一种用于立体显示的虚实融合图像生成方法，包括：(1)利用单目RGB‑D摄像机获取真实场景的深度图和彩色图；(2)重建三维场景表面模型，计算摄像机参数；(3)映射得到虚拟视点位置的深度图和彩色图；(4)完成虚拟物体的三维注册，渲染得到虚拟物体的深度图和彩色图，进行虚实融合，得到用于立体显示的虚实融合内容。本发明采用单目RGB‑D摄像机拍摄，逐帧重建三维场景模型，模型被同时用于摄像机追踪和虚拟视点映射，能获取较高的摄像机追踪精度和虚拟物体注册精度，能较好的应对基于图像的虚拟视点绘制技术中出现的空洞，能实现虚实场景的遮挡判断和碰撞检测，利用立体显示设备可以获得逼真的立体显示效果。

主权项

一种用于立体显示的虚实融合图像生成方法，包括如下步骤：(1)利用单目RGB‑D摄像机采集获取单目RGB‑D摄像机视点关于场景当前帧的深度图D_{r_k}和色彩图C_{r_k}；(2)利用前一帧的三维场景重建模型确定当前帧的单目RGB‑D摄像机参数，并利用深度图D_{r_k}和色彩图C_{r_k}对所述的三维场景重建模型进行更新，得到当前帧的三维场景重建模型；具体过程如下：2.1从前一帧的三维场景重建模型中提取出单目RGB‑D摄像机视点关于场景前一帧的深度图D_{r_k‑1}；2.2对当前帧深度图D_{r_k}和前一帧深度图D_{r_k‑1}进行匹配，计算出当前帧的单目RGB‑D摄像机参数；2.3从匹配过程的局外点中滤波得到运动物体区域，以运动物体区域作为模板从当前帧的深度图D_{r_k}和色彩图C_{r_k}中分离出运动物体和静态背景；2.4根据当前帧的单目RGB‑D摄像机参数利用当前帧静态场景的深度信息和色彩信息，采用体集成算法对前一帧的三维场景重建模型进行更新，得到当前帧的三维场景重建模型；(3)根据采集到的深度图D_{r_k}和色彩图C_{r_k}以当前帧的三维场景重建模型作为指导，利用双目摄像机模型通过映射得到虚拟摄像机视点关于场景当前帧的深度图D_{v_k}和色彩图C_{v_k}；(4)对虚拟物体进行三维注册并渲染得到单目RGB‑D摄像机视点和虚拟摄像机视点关于虚拟物体的深度图和彩色图；利用两个视点关于场景和虚拟物体的深度图进行遮挡判断和碰撞检测以对两个视点关于场景和虚拟物体的色彩图进行融合，得到用于立体显示的虚实融合图像。