一种6维度感官交互的虚拟键盘乐器系统及其实现方法

摘要

本发明提供一种6维度感官交互的虚拟键盘乐器系统及其实现方法，包括人体辅助装置、3D摄像装置，3D投影装置，信号处理单元和音乐采集装置。本发明的系统有多种工作模式，包括弹奏模式、提示最优指法模式，修正指法模式，教学模式。多种工作模式不仅提供使用者基本的弹奏体验，还具备了提示指法，纠正指法，演示教学的功能。本发明为使用者基于3D视觉、听觉、接触觉和压力觉6维度感知的虚拟键盘乐器系统，提供的虚拟乐器种类包括钢琴、电子琴、手风琴、管风琴等键盘乐器，使用者能体验到在真实乐器上弹奏的交互效果，并且本系统能实现强大的教学功能，使用方法简单、灵活，节省空间，是对于传统的键盘乐器的巨大突破，具有非常广阔的应用前景。

主权项

一种6维度感官交互的虚拟键盘乐器系统，其特征在于：所述的6维度感官是3D视觉感知、听觉感知、接触觉感知、压力觉感知，所述的系统包括3D摄像装置、人体辅助装置、3D投影装置、信号处理单元和音乐采集装置，其中：所述的3D摄像装置用于跟踪人体动作并且识别当前人体部位与虚拟键盘乐器的空间位置及关系，将获得的光学信息转换为信号，并发送到信号处理单元；所述的人体辅助装置用于采集人体的声音信息、接触觉信息、压力觉信息，并将上述信息转换为信号发送到信号处理单元；所述的音乐采集装置用于采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元；所述的信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置发送的信号并且进行处理，将处理后的信号发送到人体辅助装置和3D投影装置；人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；所述的3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息；所述的接触觉感知是指，当人接触到物体的时候，产生的一种与物体相接触的感觉，这种感觉是人体感觉到物体存在的一种触觉感知，是指当人接触到投影出来的虚拟键盘乐器时，感受到的虚拟键盘乐器的存在；所述的压力觉感知是指，当人与物体接触时，由于人对物体的按压动作和移动速度使得物体对人进行反作用，而使人体感受到压力的一种触觉感知，是指当人弹奏虚拟键盘乐器时，虚拟键盘乐器给予人的压力反馈。