一种便携式电子设备的交互装置及其交互方法

摘要

本发明公开了一种便携式电子设备的交互装置及其交互方法。该交互方法对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令。查找预先编制的命令表，获得命令的执行场景和动作脚本。访问操作系统的帧缓冲区，获取应用程序当前用户界面图像。对界面图像进行识别，在预先编制的场景表中查找当前所在场景。若当前场景不是命令的执行场景，则按照预先编制的场景转换图，转换至命令的执行场景。按照动作脚本对应用程序用户界面进行操作。本发明在传统应用程序上通过模式识别实现交互，一方面可以在可穿戴电子设备上实现对传统应用程序的交互，另一方面可以方便残障人士使用传统应用程序。本发明还涉及一种该交互方式的交互装置。

主权项

一种便携式电子设备的交互装置，其通过模拟人的操作实现交互；其特征在于：该交互装置包括：模式识别模块，其用于对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令；查找模块，其用于根据识别的命令查找预先编制的命令表；第一判断模块，其用于判断在预先编制的命令表中，是否能查找到相应命令；界面图像获取模块，其用于在该查找模块查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像；界面图像识别模块，其用于根据预先编制的场景表，对界面图像进行识别；第二判断模块，其用于判断在预先编制的场景表中，是否能查找到当前所在场景；第三判断模块，其用于在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景；执行模块，其用于在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作。