基于单个摄像机的沉浸式户外活动交互平台的实现方法

摘要

基于单个摄像机的沉浸式户外活动交互平台的实现方法，基于混合现实技术，结合计算机图形学技术，提供一种应用在户外大屏幕的人机交互方法，通过高清摄像采集技术及人体骨骼重建技术，实时计算用户的骨骼，当指定的相关部位到达触发区域，则自动触发事先设置的增强现实的信息，并将采集到的现实中用户姿态图像与增强的二维画面或三维虚拟模型叠加，通过户外高清LED大屏幕显示给用户。最终，用户可以在大屏幕中看到真实与虚拟相结合的互动效果。

主权项

基于单个摄像机的沉浸式户外活动交互平台的实现方法，其特征是基于混合现实技术，将真实世界中单个摄像机采集的用户姿态图像输入混合现实服务器，在混合现实服务器中与事先设定的增强内容叠加，并通过户外大屏幕显示给用户，所述增强内容包括二维画面和三维虚拟模型，用户利用不同的姿态同事先设定的增强内容进行互动，所述交互平台的实现方法具体包括以下步骤：首先执行配准训练，包含二个步骤：1)准备阶段，对户外的真实世界与混合现实服务器的虚拟世界进行配准：11)在地面上划一条垂直于户外大屏幕的垂直线，垂足位于户外大屏幕底边中点；12)在所述垂直线上确定用户交互定位点，用户交互定位点与户外大屏幕距离为基准长度L1，基准长度L1大于户外大屏幕的高度；13)将真实摄像机放置于用户交互定位点上方高于1.5米的位置，真实摄像机镜头方向保持水平且面向户外大屏幕，即摄像机拍摄内容为整个大屏幕；在虚拟世界中设置对应于现实世界的交互场景，包括与现实中户外大屏幕相同尺寸及相同位置的虚拟户外大屏幕、虚拟用户交互定位点以及虚拟摄像机，虚拟摄像机与虚拟户外大屏幕的距离为基准长度L1’，L1’等于L1，虚拟摄像机拍摄的内容为整个虚拟大屏幕；将虚拟摄像机同真实摄像机所拍摄的画面相叠加，以真实世界的户外大屏幕作为参照物，对真实世界的户外大屏幕的尺寸及虚拟户外大屏幕的尺寸进行至少一次的配准；14)在真实世界中，将真实摄像机由用户交互定位点移动至位于户外大屏幕侧边或顶部的工作位置，并在用户交互定位点上，以垂直于地面，也即平行于户外大屏幕树立一个基准尺L2，L2的高度大于等于1米；15)移动虚拟摄像机至虚拟世界中对应于步骤14)真实摄像机的工作位置，并在虚拟世界中的用户交互定位点上，以垂直于地面，树立一个同真实世界相对应的虚拟基准尺L2’，L2’的高度大于等于1米且等于L2，以真实基准尺L2为参照物，对真实基准尺L2和虚拟基准尺L2’进行配准；16)保存此时虚拟世界场景的位置和角度信息；2)补充配准阶段：21)在真实世界中，将真实摄像机放置于户外大屏幕侧边或顶部的工作位置，根据真实摄像机的图像采集范围选定用户的互动位置，在选定的互动位置处贴上触发图标，同时将触发图标的范围内作为用户的活动范围，即超过此活动范围的动作将得不到识别；22)在虚拟世界中，对应于真实世界的相同位置处设定虚拟触发图标，以真实触发图标为参照物进行配准，将本次配准调后得到对场景位置和角度的调整信息同准备阶段1)配准后获得的虚拟世界场景的位置和角度信息合并，得到最优的场景位置和角度信息；完成配准训练后，进入实时跟踪阶段；3)实时跟踪阶段：31)用户站在触发图标上后，由真实摄像机获得触发图标被遮挡信息，由系统自动或人工触发虚拟世界中的相关信息，并叠加至真实世界采集的图像，获得混合现实的效果；32)根据图像采集装置采集到的图像，对用户的三维运动骨骼进行重建，在获得用户的肢体位置信息后，事先设定的增强信息按照设置好的要求同用户的肢体位置信息进行交互。