一种基于普适计算的混合现实游戏系统及方法

摘要

本发明公开了一种基于普适计算的混合现实游戏系统及方法，该系统允许玩家在任意空闲空间、随时随地设计迷宫布局，通过绘图工具绘制迷宫平面图；利用手机拍照快速建立相应的三维虚拟场景；利用虚拟现实眼镜，通过玩家头部的真实转动即可感受沉浸式体验；利用体感设备对玩家真实姿态的跟踪和识别，实现玩家对虚拟场景的移动输入控制和自然交互。本系统不需要专门的物理空间、昂贵的虚拟现实设备，用户也不需要训练，而且可以在任何时间任何地方游戏。

主权项

基于普适计算的混合现实游戏系统的工作方法，其中，基于普适计算的混合现实游戏系统，包括场景设计模块、校正模块、建模模块、跟踪与动作识别模块、跟踪注册模块和交互模块，其中，所述场景设计模块，通过绘图工具利用轮廓线绘画迷宫平面图，建立迷宫场景；所述校正模块，用于采集拍摄的迷宫平面图，对其进行校正，导入建模模块；所述建模模块，接收校正后的图片，进行迷宫布局的绘制，将迷宫真实物体的信息作为建模输入，发送到各个玩家的客户端，完成虚拟场景的建立；所述跟踪与动作识别模块，利用体感设备将捕获的使用者位置信息与动作信息映射到虚拟场景中，为虚拟场景中相应使用者的位置和动作提供数据，并发送到服务器端；所述跟踪注册模块，用于对使用者视场与视点的跟踪，确定当前视场中的目标物、用户视点的位置和朝向；所述交互模块，用于实现用户与真实场景中的虚拟对象的交互，确定用户对虚拟对象发出的指令，对其解释，给出相应的反馈结果，通过虚拟现实眼镜给玩家反映虚拟世界的景象；其特征是：包括以下步骤：(1)通过绘图工具在真实空间中设计迷宫平面图，拍摄迷宫平面图，并对拍摄时因透视原因导致的图片变形进行校正，建立虚拟迷宫；(2)判断多个玩家的情况下是否异地参与，如果是，跳转步骤(3)，否则，跳转步骤(4)；(3)玩家根据服务器端发送的平面图在真实场地绘制同一结构的迷宫；(4)根据所有玩家接收到的迷宫信息，服务器端接收虚拟迷宫建模模块发送来的迷宫墙体信息，并发送到各个玩家的客户端，完成虚拟场景的建立，建立三维场景；(5)利用跟踪与动作识别模块，将捕获到的玩家位置信息与动作信息映射到虚拟场景中，为虚拟场景中玩家的位置和动作提供数据，并发送到服务器端，完成虚拟场景中玩家的漫游与交互；(6)根据基于传感器的注册方法，获取用户头部的转动角度，从而确定用户视点的位置和朝向，利用虚拟现实眼镜作为输出设备，向使用者呈现虚拟世界的景象；(7)对每个玩家的位置实时跟踪与姿态识别，并捕获到的玩家位置信息与动作信息映射到虚拟场景中，为虚拟场景中所有玩家的位置和动作提供数据，并发送到服务器端，跳转步骤(5)；所述步骤(5)中，利用Kinect进行跟踪与动作识别，具体步骤包括：(5‑1)坐标校正，在真实空间内选取多组不同位置的样本点，使样本点均匀分布，并测量出每个样本点在虚拟场景中的位置，在Kinect坐标系中的位置；(5‑2)利用最小二乘法计算得到Kinect对于虚拟场景坐标系的变换矩阵T；(5‑3)通过捕获用户手部关节点和头部的位置信息，计算用户位置和动作识别。