基于语音手势及肢体动作互动的增强现实系统

摘要

本发明公开了一种基于语音手势及肢体动作互动的增强现实系统，包括视频采集模块：采集视频；肢体位置变化采集模块：采集肢体位置变化的信息；手势和肢体动作识别模块：对视频流或者肢体位置变化的信息进行识别处理；音频采集模块：采集音频；语音控制指令识别模块：对采集到的音频进行解析与识别，生成语音指令；增强现实控制模块：接收到语音指令、手势指令与肢体动作的输入后改变增强现实系统中的视频和音频进行互动处理；增强现实输出模块：对增强现实的视频的内容进行显示，同时播放增强现实中的音频内容。本发明可以广泛用于家庭投影、投影机器人、影视盒子等场景，为用户提供更加便捷，更加自然和更加智能的服务。

主权项

一种基于语音手势和肢体动作互动的增强现实系统，其特征在于，包括：视频采集模块：通过单个高清摄像头采集视频，或者是通过多个高清摄像头采集具有景深的视频；肢体位置变化采集模块：通过传感器采集肢体位置变化的信息；手势和肢体动作识别模块：对来自视频采集模块的视频流进行解析，识别出手势指令和肢体动作，以及人体在场景中的位置；或者对来自传感器的肢体位置变化的信息进行处理，识别出肢体动作；音频采集模块：通过单MIC或者空间分布的MIC阵列来采集音频；语音控制指令识别模块：对采集到的音频进行解析与识别，生成语音指令；增强现实控制模块：接收到语音指令、手势指令与肢体动作的输入后改变增强现实系统中的视频和音频进行互动处理；增强现实输出模块：对增强现实的视频的内容进行显示，同时播放增强现实中的音频内容。