一种三维大空间多通道笔式交互系统

摘要

本发明涉及一种三维大空间多通道笔式交互系统，涉及三维大空间多通道笔式交互系统。主机和智能电子笔，采用超声波信号与加速度、陀螺仪信号的组合笔式识别方法，在因遮挡无法通过超声波信号实现电子笔的笔式识别，通过加速度、陀螺仪信号完成辅助定位，并实现笔姿态信息的提取。本发明提供的三维大空间多通道笔式交互系统及方法支持三维空间、二维平面的笔式交互、手势交互和语音交互操作，具备定位精度高，交互空间大，支持三维书空模式等优点。

主权项

一种三维大空间多通道笔式交互系统，其特征在于：包括主机和智能电子笔两部分，其中：(一)主机1包括超声三维定位模块、深度摄像头、主机电路、光电定位摄像头、平板电视屏幕或白板；(1)所述超声三维定位模块为三维大空间多通道笔式交互系统的核心，包括3个不在一条直线上的超声传感器10101构成三维超声定位阵列和2个红外传感器10102，用于接收智能电子笔发射的红外同步信号；(2)所述深度摄像头通过摄取的深度图像，由处理器完成操作者三维姿态和手势的提取；(3)所述主机电路包括微处理器一、超声波三维定位模块、光电定位模块、深度摄像头、音频驱动电路、扬声器、麦克风一、音频放大电路、蓝牙通信模块以及接口模块，其中：微处理器一可以为DSP、ARM、FPGA，完成系统总体控制和交互通道信息的处理；所述超声波三维定位模块电路主要包括3路超声信号处理电路和1路红外信号处理电路；所述光电定位模块采用两个或多个光电定位摄像头，根据各摄像头摄取的有无触摸点的图像，获得触摸点的位置，根据触摸点的个数及变化实现触控操作或手势识别；所述深度摄像模块采用深度摄像头，根据摄取图像的深度信息，提取三维手势；所述音频驱动电路和扬声器构成音频输出电路，完成语音交互的语音输出和扬声器的语音的输出；所述麦克风一和音频放大电路构成主机的音频信号采集与处理电路，完成主机麦克风一的语音交互输入信号的采集；所述蓝牙通信模块负责接收电子笔发送的音频信号、加速度角速度信号、笔尖压力信号以及主机对电子笔的配置信息等；所述接口模块包括USB、UART接口电路，用于实现与PC机以及其他主机的数据传输；(4)主机采用两个或多个光电定位摄像头构成二维平面触控定位和手势识别输入通道，通过各摄像头摄取的有无触摸点的图像的差异，实现裸指及无源触摸物的二维平面定位和手势识别。(二)智能电子笔包括微处理器二、超声波驱动电路、红外驱动电路、电源模块、三轴加速度陀螺仪、压力模块、按键电路、蓝牙通信芯片、语音信号采集电路、麦克风二；其中：超声发射采用脉冲激励方式，微处理器二产生超声波脉冲信号，由超声波驱动电路放大后由PVDF超声波压电薄膜发射；红外发射采用脉冲方式，发送两个红外脉冲，根据红外脉冲间隔对按键功能进行编码，由微处理器二产生红外发射脉冲，有红外驱动电路进行放大后由红外发射管发射出去；电源模块包括电池和升压电路，电池采用AAA、AA或者纽扣电池，为了满足微处理器二及其他电路对电源电压的要求，需要通过升压电路产生5V或3.3V的电源电压；三轴加速度陀螺仪传感器直接与微处理器二连接，由微处理器二读取加速度和角速度信号，用于电子笔姿态以及电子笔的辅助定位，六轴加速度陀螺仪采用MEMS六轴加速度陀螺仪传感器；压力模块用于检测笔尖按键的压力，采用MEMS压力传感器；按键电路包括两个按键，采用微动开关按键，模拟鼠标左右键以及其它按键操作；蓝牙通信芯片采用集成处理器的蓝牙芯片；麦克风二采用MEMS麦克风或小型驻极体电容麦克风，语音信号调理电路完成语音信号的放大和滤波，语音信号采集电路完成语音信号的A/D转换。