用于视觉查询的可采取动作的搜索结果

摘要

一种服务器系统接收视觉查询并且识别该视觉查询中的实体。该服务器系统进一步识别与所识别实体相对应的客户端侧动作并且创建被配置为启动客户端侧动作的可采取动作的搜索结果元素。可采取动作的搜索结果元素的示例是用于发起电话呼叫、发起电子邮件消息、对地址绘制地图、进行餐厅预订以及提供购买产品的选项的按钮。在视觉查询中所识别的实体可以间接地与在与所识别实体相关联的搜索结果中找到其联系人地址或适当链接的客户端侧动作相关联。客户端系统接收并显示所述可采取动作的搜索结果元素，并且在用户选择所述可采取动作的搜索结果元素时，启动与视觉查询客户端应用不同的应用中的客户端侧动作。

主权项

一种计算机实现的处理视觉查询的方法，包括：在具有一个或多个处理器和存储用于供所述一个或多个处理器执行的一个或多个程序的存储器的服务器系统处：从客户端系统接收视觉查询，其中所述视觉查询包括图像；响应于接收到所述视觉查询：获取对所述视觉查询的多个搜索结果；分析所述图像以识别所述视觉查询中的实体；基于所述多个搜索结果中的信息识别与所识别的实体相对应的一个或多个客户端侧动作；创建被配置为启动相应客户端侧动作的一个或多个可采取动作的搜索结果元素，其中所述可采取动作的搜索结果元素包括相对于所识别的实体识别特定客户端侧动作的用户可选择元素；以及将所述一个或多个可采取动作的搜索结果元素以及所述多个搜索结果中的至少一个搜索结果发送到所述客户端系统，所述客户端系统被配置为显示包括一个或多个搜索结果的搜索结果列表并且在显示区域中单独地显示所述一个或多个可采取动作的搜索结果元素；其中所述至少一个搜索结果被格式化以在所述客户端系统的显示器中的搜索结果部分中显示，其中所述可采取动作的搜索结果元素被格式化以在所述显示器的搜索结果元素部分中显示，并且其中所述显示器的所述搜索结果元素部分不同于所述搜索结果部分。