一种基于多模态隐性耦合表达的跨媒体排序方法

摘要

本发明公开了一种基于多模态隐性耦合表达的跨媒体排序方法。包括如下步骤：1)将文本检索图像的排序样本或图像检索文本的排序样本构建为训练样本；2）对构建得到的训练样本进行基于隐性耦合表达的跨媒体排序学，得到跨媒体数据的隐性耦合表达挖掘模型以及跨媒体排序模型；3)构建查询文档和候选文档之间的隐性耦合表达；4）基于隐性耦合表达，使用学得到的跨媒体排序模型进行跨媒体检索。本发明在排序模型中引入了多模态数据的隐性耦合表达，相比一般的多模态数据隐性表达具有更强判别性。由于同时训练了隐性表达挖掘模型和排序模型，它在图像检索文本或文本检索图像中所取得性能较传统的跨媒体排序模型方法更好。

主权项

一种基于多模态隐性耦合表达的跨媒体排序方法，其特征在于包括如下步骤： 1)构建排序用的训练样本：在文本检索图像的训练样本中，将文本作为查询文档，将图像作为候选文档；在图像检索文本的训练样本中，将图像作为查询文档，将文本作为候选文档； 2)对构建得到的训练样本进行基于隐性耦合表达的跨媒体排序学习，得到隐性耦合表达挖掘模型以及跨媒体排序模型； 3)用户提交查询文档后，对于每一个候选文档，使用隐性耦合表达挖掘模型构建其和查询文档间的隐性耦合表达； 4)使用学习得到的跨媒体排序模型进行跨媒体检索：基于隐性耦合表达，使用排序模型对查询文档和候选文档的关联性进行评分，根据关联性评分的高低对候选文档进行排序，最后输出这一跨媒体排序结果。