一种多视频流与三维场景的虚实融合方法

摘要

本发明公开了一种多视频流与三维场景的虚实融合方法，属于虚拟现实技术领域。本方法先使用相机采集环境的视频图像信息，并对相机采集时的参数进行跟踪；之后根据相机采集时的参数计算相机在三维空间中对应的视锥体，在此基础上计算出用户当前视点下可见的相机，调度这些可见相机的视频图像；然后计算每个可见相机的视频图像与三维场景中虚拟对象的关联关系，根据该关联关系将视频图像与三维场景中的虚拟对象进行融合；最后在虚拟环境中将融合结果进行可视化，并为用户提供交互漫游和自动巡逻服务。本发明实时调度场景中的多个相机，将其视频图像与三维场景进行虚实融合，从而达到反映环境真实动态的目的。

主权项

一种多视频流与三维场景的虚实融合方法，先使用一个或多个相机采集环境的视频图像，并对相机采集时的参数进行跟踪；之后根据相机采集时的参数计算相机在三维空间中对应的视锥体，在此基础上根据用户视点的位置和方向计算相机的可见性，调度可见相机的视频图像；然后计算每个可见相机的视频图像与三维场景中虚拟对象间的关联关系，使用该关联关系将视频图像与虚拟对象进行融合；最后在虚拟环境中将融合结果可视化，并为用户提供交互漫游及对相机的自动巡逻服务；其特征在于如下步骤：(1)使用一个或多个相机采集环境的视频图像，视频图像作为实时展现场景动态的数据源；跟踪相机采集时的参数信息，参数信息用于调度视频图像与三维场景正确地进行融合；(2)根据相机拍摄时的参数信息计算相机在三维空间中对应的视锥体，该视锥体是相机所拍摄的真实环境的空间范围在虚拟环境的近似或精确表达；根据用户在虚拟环境中的视点位置和方向，计算当前对用户可见的相机集合，调度可见相机的视频图像；(3)对可见集合中的相机，根据相机参数信息计算其视频图像与三维场景中虚拟对象间的关联关系，利用该关联关系将视频图像与虚拟对象进行虚实融合；(4)在虚拟的环境中将视频图像与虚拟对象的融合结果进行可视化，用户可在虚拟环境中交互漫游并对指定的相机进行自动巡逻。