利用联合图像-音频查询的搜索

摘要

用于处理联合图像-音频查询的方法、系统和装置、包括在计算机存储介质上编码的计算机程序。在一个方面中，一种方法包括从客户端设备接收包括查询图像数据和查询音频数据的联合图像-音频查询。从查询图像数据确定查询图像特征数据。从音频数据确定查询音频特征数据。向联合图像-音频相关度模型提供查询图像特征数据和查询音频特征数据，联合图像-音频相关度模型被训练用于生成用于多个资源的相关度分数，每个资源包括定义用于资源的资源图像的资源图像数据和定义用于资源的资源文本的文本数据。每个相关度分数是对应资源与联合图像-音频查询的相关度的测量。向客户端设备提供定义搜索结果的数据，搜索结果指示资源的顺序。

主权项

一种由数据处理装置执行的计算机实施的方法，所述方法包括：从客户端设备接收联合图像‑音频查询，所述联合图像‑音频查询包括定义查询图像的查询图像数据和定义查询音频的查询音频数据；从所述查询图像数据确定查询图像特征数据，所述查询图像特征数据描述所述查询图像的图像特征；从所述音频数据确定查询音频特征数据，所述查询音频特征数据描述所述查询音频的音频特征；向联合图像‑音频相关度模型提供所述查询图像特征数据和所述查询音频特征数据，所述联合图像‑音频相关度模型被训练用于生成用于多个资源的相关度分数，其中每个资源包括定义用于所述资源的资源图像的资源图像数据和定义用于所述资源的资源文本的文本数据，并且其中每个相关度分数是对应资源与所述联合图像‑音频查询的相关度的测量；根据所述对应相关度分数对所述资源排序；以及向所述客户端设备提供定义搜索结果的数据，所述搜索结果指示所述资源的顺序。