一种应用软件GUI对象自动识别方法

摘要

本发明公开了一种应用软件GUI对象自动识别方法，属于软件工程领域。本方法为：1)建立服务器端与客户端之间的通信连接；2)将服务器端所选应用软件导入客户端；3)服务器端启动所选应用软件，并将其当前界面信息中GUI对象发送给客户端；4)客户端进行重绘并截图，并记录GUI属性信息；5)客户端将截图显示在客户端的虚拟屏幕上，并将对虚拟屏幕的操作指令发送给服务器端；6)所选应用软件每执行一次操作指令，服务器端监听当前操作是否完成以及是否发生新的活动，如果发生新的活动则将其界面信息中GUI对象发送给客户端；重复步骤4)～6)，直到执行完所有操作指令且没有发生新的活动。本发明可完成Android及衍生系统的应用软件GUI对象的自动识别。

主权项

一种应用软件GUI对象自动识别方法，其步骤为：1)建立服务器端与客户端之间的通信连接；其中服务器端装有Android系统或其衍生系统；2)选择服务器端所装系统上的应用软件，并将所选的应用软件导入客户端；3)服务器端启动所选应用软件，并将该应用软件当前界面信息中的所有GUI对象发送给客户端；4)客户端根据接收到GUI对象信息对所选应用软件当前所处画面进行重绘并截图，并记录GUI的各种属性信息；5)客户端将截图显示在客户端的虚拟屏幕上，并将对虚拟屏幕的操作指令发送给服务器端；6)所选应用软件执行服务器端接收到的客户端发送的操作指令，每执行一次操作指令，服务器端监听当前操作是否完成以及是否发生新的活动，如果发生新的活动则将其界面信息中所有GUI对象发送给客户端；重复步骤4)～6)，直到执行完所有操作指令且没有发生新的活动。