一种可直接度量不同模态数据间相似性的跨模态检索方法

摘要

本发明公开了一种可直接度量不同模态数据间相似性的跨模态检索方法。它包括如下步骤：1）特征提取；2）模型建立和学；3）跨媒体数据检索；4）结果评价。本发明可以直接在不同模态数据之间进行相似度比较，对于跨模态检索任务，用户可以提交任意模态的文本、图像、声音等，去检索他们需求的对应模态结果。本发明与传统跨媒体检索方法的区别在于可以直接进行不同模态数据之间的相似性比较，满足了跨媒体检索的需求，更加直接地实现了用户的检索意图，与其它可以直接度量不同模态相似性的跨媒体检索算法相比，本方法具有较强抗噪音干扰能力和对松散关联的跨模态数据的表达能力，使得检索效果更好。

主权项

一种可直接度量不同模态数据间相似性的跨模态检索方法，其特征在于包括如下步骤：1）对数据库中各个模态数据进行特征提取和标签记录；2）根据数据库中不同模态数据间的对应信息和标签信息，从重建的角度对不同模态配对数据间的差异性和相似性进行表达，利用标签信息，构建跨模态检索整体模型并学习模型参数；3）对用户提交的已知模态数据，进行特征提取后利用跨媒体检索模型返回与之对应的用户需求的其他模态数据；4）利用跨模态数据的真实对应信息和标签信息，对跨媒体检索模型同时从对应信息和区别性信息两方面来进行评价。