人机交互系统及方法

摘要

本发明涉及人机交互技术领域，特别涉及一种人机交互系统及方法。该人机交互系统，包括：投影单元、第一图像传感单元、第二图像传感单元、接口单元、图像处理单元、投影界面处理单元、以及控制单元。本发明提供的人机交互系统，可轻松地将人机交互界面投影在人们日常中遇到的各种平面上以实现无处不在的人机界面显示，提高用户体验。

主权项

一种人机交互系统，其特征在于，包括：投影单元、第一图像传感单元、第二图像传感单元、接口单元、图像处理单元、投影界面处理单元、以及控制单元，其中，所述投影单元，用于接收所述接口单元输出的人机交互界面信息数据，并投影输出至投影面；所述第一图像传感单元和第二图像传感单元，用于采集投影面区域的投影图像信息，并通过所述接口单元输出至所述图像处理单元；所述接口单元，连接所述投影单元、第一图像传感单元、第二图像传感单元、图像处理单元、投影界面处理单元、以及控制单元；所述接口单元用于对所述第一图像传感单元和第二图像传感单元以及所述投影单元间进行同步控制；所述图像处理单元，用于接收所述第一图像传感单元和第二图像传感单元采集的图像数据；用于接收所述投影界面处理单元输出的人机交互界面图像，并提取所述人机交互界面图像中的特征信息；用于计算获取系统固有内参数，所述系统固有内参数包括所述第一图像传感单元、第二图像传感单元和投影单元光学镜头的畸变失真参数、焦距、像素点尺寸以及中心点位置，并将系统固有参数存储至非易失性存储器，以及输出系统固有内参数至所述接口单元；用于针对所述图像数据提取相应的特征信息与所述投影界面处理单元输出的特征信息进行匹配处理；用于计算获取系统固有外参数，所述系统固有外参数包括第一图像传感单元和第二图像传感单元以及投影单元三者间的位置与姿态关系；以及用于计算获取系统可变外参数，所述系统可变外参数包括人机交互系统与投影面之间的位置与姿态关系，用于把获取的系统可变外参数中的投影面与所述投影单元间的位置、姿态关系参数输出至所述投影界面处理单元；所述图像处理单元还用于对从所述接口单元获取所述第一图像传感单元和第二图像传感单元采集的投影区域的图像进行处理，依据预设指尖特征，搜索用户操作的手指尖或其它触控物，以及基于双目测距原理，获取指尖或其它触控物与投影面之间的距离，当距离值在预设第一门限值范围内时，判断发生触碰操作，并输出触碰信息；所述投影界面处理单元，用于接收要投影的人机交互界面信息，并从所述人机交互界面信息中提取特征信息，并将所述特征信息输出至所述图像处理单元；所述投影界面处理单元还用于接收所述图像处理单元输出的系统可变外参数中的投影面与投影单元间相对位置、姿态参数，并依据该参数对输入的人机交互界面信息中的界面图像进行形状预失真校正处理，然后输出至接口单元；所述控制单元，用于控制系统中所有单元，并协调控制系统中所有单元的工作；所述控制单元还用于控制人机交互系统处于系统固有内、外参数获取状态、系统可变外参数获取状态以及指尖获取与触碰操作状态。