融合多模态信息的跨媒体人物新闻检索方法与系统

摘要

本发明属于多媒体信息检索与新闻检索技术领域，具体为一种融合多模态信息的跨媒体人物新闻检索方法与系统。本发明的检索方法包括：获取网络多模态新闻数据，提取新闻人物人名获得新闻文本特征，提取新闻人物人脸图像获得新闻图像特征；对罕见新闻人物进行网络信息补充；新闻人物人名-人脸对齐聚类学；实现人物人脸与人物人名检索。本发明的检索系统包括相应于检索方法各步骤的6个模块。本发明能够很好解决网络新闻人名-人脸对齐问题，并在此基础上解决人物新闻检索问题。这两个问题在多媒体信息检索与新闻检索领域具有重要意义，本发明具有广泛的应用价值。

主权项

一种融合多模态信息的跨媒体人物新闻检索方法，其特征在于具体步骤如下：（1）获取网络多模态新闻，在新闻媒体网络平台上，利用网络爬虫获取新闻文本及相关图像，为方法提供网络多模态新闻数据；（2）提取新闻文本特征，提取新闻文本中出现的新闻人物人名，然后通过对新闻文本的分析，对人物的重要程度进行评估，作为新闻的文本特征；（3）提取新闻图像特征，从每一篇新闻图像中提取新闻人物人脸图像，并且使用基于SIFT特征的人脸特征表示方法提取人脸图像特征，作为新闻图像特征；（4）补充网络信息，利用网络挖掘信息，对新闻中比较罕见的人物进行信息补充，以提升聚类算法的准确性；（5）新闻聚类学习，使用基于模糊C均值聚类的方法，对新闻人物人名‑人脸对齐，并进行聚类学习； （6）检索跨媒体人物新闻，得到聚类结果后，采用人名检索和通过人脸检索两种方式进行检索。