一种6维度感官交互的虚拟乐器系统及其实现方法

摘要

本发明涉及一种6维度感官交互的虚拟乐器系统，包括人体辅助装置、3D摄像装置，3D投影装置和信号处理单元。人体辅助装置采集人体的声音信息、接触觉信息、压力觉信息，并将上述信息转换为信号发送到信号处理单元，信号处理单元处理该信号，并且发出信号控制人体辅助装置反馈听觉感知信息、接触觉感知信息、压力觉感知信息；控制3D投影装置反馈3D视觉感知信息。本发明还提供了一种6维度感官交互的虚拟乐器的实现方法，包括设置、采集信息、信号处理、反馈信息四个步骤。本发明的6维度感官交互的虚拟乐器系统很好地实现了人机交互和虚拟现实，使用者能体验到在真实乐器上弹奏的交互效果，具有功能强大，使用方便，外形精巧，造价低廉的优点。

主权项

一种6维度感官交互的虚拟乐器系统，其特征在于：所述的6维度感官是3D视觉感知、听觉感知、接触觉感知、压力觉感知，所述的系统包括3D摄像装置、人体辅助装置、3D投影装置和信号处理单元，其中：所述的3D摄像装置用于跟踪人体动作并且识别当前人体部位与虚拟乐器的空间位置及关系，将获得的光学信息转换为信号，并发送到信号处理单元；所述的人体辅助装置用于采集人体的声音信息、接触觉信息、压力觉信息，并将上述信息转换为信号发送到信号处理单元；所述的信号处理单元接收从人体辅助装置和3D摄像装置发送的信号并且进行处理，将已经处理的信号输出到人体辅助装置和3D投影装置；所述的人体辅助装置接收信号处理单元输出的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；所述的3D投影装置接收信号处理单元输出的信号并将其转换为3D视觉感知信息。