一种跨文本模态和图像模态的数据检索方法

摘要

本发明公开了一种跨文本模态和图像模态的数据检索方法，包括步骤：将全部文本和图像模态数据分成多个样本对进行联合聚类；根据所述联合聚类中心，对全部数据分别进行主亲和力的计算；将文本模态数据和图像模态数据的语义向量作为逻辑斯特回归分类器的输出表达，将主亲和力非线性表达中心化后作为输入表达来进行训练，得到多个分类函数；当用户需要检索文本或者图像模态数据样本时，分别计算主亲和力并输入到所述分类函数中，得到文本或者图像模态数据样本的语义层表达，然后归一化处理生成最终表达；利用内积距离计算公式计算检索结果。本发明公开的一种跨文本模态和图像模态的数据检索方法，其可快速有效跨模态检索，显著减少跨模态检索时间。

主权项

一种跨文本模态和图像模态的数据检索方法，其特征在于，包括以下步骤：第一步：将文本模态数据库中的全部文本模态数据和图像模态数据库中的全部图像模态数据分成多个样本对，每个样本对包括一个文本模态数据和一个图像模态数据；第二步：将每个样本对的特征进行联合聚类，获得全部文本模态数据和图像模态数据的联合聚类中心；第三步：根据所述联合聚类中心，对全部的文本模态数据和图像模态数据分别进行主亲和力的计算，分别获得本模态数据和图像模态数据的主亲和力非线性表达；第四步：根据文本模态数据和图像模态数据自身具有的语义标注信息，生成一组长度等于类别数的语义向量，并将所述语义向量作为逻辑斯特回归分类器的输出表达，同时将文本模态数据和图像模态数据的主亲和力非线性表达中心化后作为输入表达来进行逻辑斯特回归分类器的训练，最终训练得到多个分类函数；第五步：当用户需要检索至少一个文本模态数据样本或者图像模态数据样本时，分别计算该文本模态数据样本或者图像模态数据样本的主亲和力并将该主亲和力输入到所述分类函数中，分别得到文本模态数据样本或者图像模态数据样本的语义层表达；第六步：将所述文本模态数据样本和图像模态数据样本的语义层表达进行归一化处理，分别生成最终的文本模态数据样本和图像模态数据样本的语义层表达；第七步：根据所述最终的文本模态数据样本和图像模态数据样本的语义层表达，利用内积距离计算公式计算用户需要检索的文本模态数据样本与作为待检索对象的所述图像模态数据库内所有图像模态数据的距离，按照距离大小的升序输出对所述图像模态数据库内所有图像模态数据的检索结果，或者计算用户需要检索的图像模态数据样本与作为待检索对象的所述文本模态数据库中所有文本模态数据的距离，按照距离大小的升序输出对所述文本模态数据库内所有文本像模态数据的检索结果。