一种可视可操作无实体的触摸屏系统

摘要

本发明属于人机交互技术领域，是作为一种可视可操作无实体的触摸屏系统，该系统由一台计算机，两个网络摄像头，一个头戴式显示器，以及一个标定参照物组成，该参照物标定了一个虚拟触摸屏。用户可以通过头戴式显示器观察含有虚拟触摸屏的现实世界，并且可以直接用手操作没有实体的触摸屏。本发明采用两个摄像头进行实时的图像采集。计算机系统根据摄像头输入的图像，在标定参照物的配合下进行空间定标与指尖位置动作识别，并且合成相应的图像。头戴式显示器把含有虚拟触摸屏的图像输出给用户，用户通过头戴式显示器直接观察到虚拟触摸屏的反馈。本发明可以用于人机交互领域，特别适合作为便携式计算机或多媒体交互体验系统的人机交互设备。

主权项

1.一种可视可操作无实体的触摸屏系统，其特征在于包括一台计算机，两个网络摄像头，一个头戴式显示器，一个标定参照物，该标定参照物标定了一个供用户手部触摸操作的虚拟触摸屏；两个网络摄像头和计算机连接，计算机再与头戴式显示器连接；头戴式显示器佩戴于用户眼前，两个网络摄像头分别设置于头戴式显示器左右上方，用于拍摄用户手部以及标定参照物，实时捕获得到视频图像；两个网络摄像头拍摄方向所在射线相交，在同一水平面上成30到90度的夹角；网络摄像头把捕获的视频帧传送到计算机；计算机中设有计算软件系统，该软件系统根据标定参照物在视频帧中的图像，计算得到当前摄像头所在的方位，从而确定虚拟触摸屏所在位置，并根据人手在视频帧中的图像，计算人手的位置，判别人手是否与虚拟触摸屏接触；根据以上信息，计算软件系统再进行图像合成；合成的图像通过头戴式显示器进行输出，用户通过头戴式显示器直接观察到虚拟触摸屏的反馈。