一种可视可操作无实体的触摸屏系统

摘要

本发明属于人机交互技术领域，是作为一种可视可操作无实体的触摸屏系统，该系统由一台计算机，两个网络摄像头，一个头戴式显示器，以及一个标定参照物组成，该参照物标定了一个虚拟触摸屏。用户可以通过头戴式显示器观察含有虚拟触摸屏的现实世界，并且可以直接用手操作没有实体的触摸屏。本发明采用两个摄像头进行实时的图像采集。计算机系统根据摄像头输入的图像，在标定参照物的配合下进行空间定标与指尖位置动作识别，并且合成相应的图像。头戴式显示器把含有虚拟触摸屏的图像输出给用户，用户通过头戴式显示器直接观察到虚拟触摸屏的反馈。本发明可以用于人机交互领域，特别适合作为便携式计算机或多媒体交互体验系统的人机交互设备。

主权项

一种可视可操作无实体的触摸屏系统，其特征在于包括一台计算机，两个网络摄像头，一个头戴式显示器，一个标定参照物，该标定参照物标定了一个供用户手部触摸操作的虚拟触摸屏；两个网络摄像头和计算机连接，计算机再与头戴式显示器连接；头戴式显示器佩戴于用户眼前，两个网络摄像头分别设置于头戴式显示器左右上方，用于拍摄用户手部以及标定参照物，实时捕获得到视频图像；两个网络摄像头拍摄方向所在射线相交，在同一水平面上成30到90度的夹角；网络摄像头把捕获的视频帧传送到计算机；计算机中设有计算软件系统，该软件系统根据标定参照物在视频帧中的图像，计算得到当前摄像头所在的方位，从而确定虚拟触摸屏所在位置，并根据人手在视频帧中的图像，计算人手的位置，判别人手是否与虚拟触摸屏接触；根据以上虚拟触摸屏的位置信息、人手的位置及人手是否接触虚拟触摸屏的动作信息，计算软件系统再进行图像合成；合成的图像通过头戴式显示器进行输出，用户通过头戴式显示器直接观察到虚拟触摸屏的反馈；所述的计算软件系统由下述软件模块组成：1)虚拟触摸屏定位模块该模块根据参照物的坐标系与摄像头的坐标系之间的转换关系，确定虚拟触摸屏相对于摄像头的空间位置；对虚拟触摸屏进行定位后，系统可以得到虚拟触摸屏上面的点与摄像头拍摄到的图像上的点的对应关系，包括虚拟触摸屏4个角点在摄像头拍摄图像上对应的4个点，得到虚拟触摸屏影像合成在现实世界影像的位置和角度；2)指尖定位及运动检测模块该模块首先进行肤色检测，把人手区域分割出来，再用计算机图像处理的形态学方法获取人手指尖在摄像头图像中的位置；然后，根据虚拟触摸屏的位置，计算出手指在其上的位置，并使用运动追踪算法加强稳定性；最后，使用射影几何方法，判断指尖是否与虚拟触摸屏接触；该模块又分为如下几个子模块：i)肤色检测子模块本系统使用一种基于肤色检测算法的背景分割方法；该算法基于这样一个统计数据：人手的色彩在YCbCr色彩空间上的分布投影到Cb‑Cr平面上时，能近似聚集在一个椭圆区域内，由此判定在该椭圆区域范围内的色彩是肤色，得到肤色所在的区域，即人手所在的区域；ii)指尖在摄像头图像中位置检测子模块在这个模块中，系统要获取指尖在摄像头图像中位置；首先，系统对肤色区域使用连通区算法求出所有连通区，判定手部区域是画面中最大的连通区；给该连通区进行去噪处理后，提取手指的轮廓，把手指区域填充完整；接着，从其上确定指尖位置：使用一种改进的Takao算法来定位出指尖的位置：先计算出手部连通区的倾斜角度，然后根据手部与敏感区域边界的靠近情况来决定手指的底部，接着计算从手指底部出发顺着手部倾斜方向找到最远点；该点即为指尖位置；iii)指尖在虚拟触摸屏中的位置计算子模块在本模块中，系统通过近似射影变换找出指尖在虚拟触摸屏上的位置；iv)指尖与虚拟触摸屏接触检测子模块本模块用于判断指尖是否与虚拟触摸屏接触，其得到的信息能让系统判断指尖是否进行点击、拖曳操作；利用射影几何的方法来判断指尖是否接触虚拟屏平面，当指尖不落在虚拟平面上时，通过成像平面观察，其在虚拟平面上的投影不重合；当指尖落在虚拟平面上时，它在虚拟平面的投影重合；3)虚拟触摸屏视频图像合成模块本模块根据前面获得的虚拟触摸屏的位置信息以及指尖的位置动作信息，合成相应的虚拟图像，以提供适当的操作反馈；具体分为两个部分：i)把虚拟物体叠加在背景图像上根据上面采集到的触控操作信息，系统绘制相应的虚拟触摸屏反馈，然后叠加在摄像头拍摄的现实图像上；ii)把手叠加在图像最上方把合成后的图像输出到头戴式显示器上，用户便能观察到虚拟触摸屏。