用于实现分布式多模态应用的方法和装置

摘要

实施例包括用于在与分布式多模态应用相关联的可视视图和话音视图之间同步数据和焦点的方法和装置。实施例包括客户端设备，客户端设备适于呈现包括至少一个多模态显示元素的可视显示，对于至少一个多模态显示元素可通过可视模态和话音模态接收输入数据。当客户端经由话音模态检测到用户发言时，客户端向语音识别器发送表示发言的上行链路音频数据。应用服务器接收由语音识别器生成的语音识别结果，并且向客户端发送话音事件响应。被发送的话音事件响应是对于之前被客户端发送到应用服务器的异步HTTP话音事件请求的响应。然后客户端可以响应于接收到话音事件响应而向应用服务器发送另一话音事件请求。

主权项

一种由客户端设备执行的方法，所述方法包括以下步骤：呈现包括至少一个多模态显示元素的可视显示，对于所述至少一个多模态显示元素可由所述客户端设备通过可视模态和话音模态接收输入数据，其中可视视图焦点被设置为所述至少一个多模态显示元素中的第一多模态显示元素；向应用服务器发送第一话音事件请求，其中所述第一话音事件请求是异步超文本传输协议(HTTP)请求；经由所述话音模态接收能够表示用户发言的音频信号；向语音识别器发送表示所述音频信号的上行链路音频数据；响应于所述话音事件请求，从所述应用服务器接收话音事件响应；以及响应于接收到所述话音事件响应，向所述应用服务器发送第二话音事件请求。