面向跨媒体新闻检索的人脸-人名对齐方法及系统

摘要

本发明属于跨媒体信息检索技术领域，具体为跨媒体新闻检索中基于图像特征和文本语义的人脸-人名对齐方法与系统。本发明包括四个主要算法：人名重要性评估算法、基于Web挖掘的多模态信息发现算法、人脸集内聚度度量算法和多模态对齐组合优化算法。本发明使用相关的图像特征和文本语义处理方法，同时建立相关数学模型，对新闻图像搜索进行优化，包括通过多级别深层次的文本语义分析，有效的人脸-人名对齐评估机制，具有问题针对性的组合优化。本发明对于在大规模且多样性新闻图像基础上，考虑图像高层语义信息而进行高效图像检索具有非常重要的意义，能够提高检索相关性，增强用户体验，在跨媒体信息检索领域具有广泛的应用价值。

主权项

一种跨媒体新闻检索中基于图像特征和文本语义的人脸‑人名对齐方法，其特征在于具体步骤如下：(1) 图像与文本预处理，针对原始新闻图像信息，进行人脸与人名的检测和提取，并对检测和提取出来的人脸图像进行预处理与相似性度量；(2) 人名重要性评估，对新闻图像带有的文本标注进行多层次的文本分析，利用各个人名在对应文本标注中出现的频率、句法分析树中的深度、句法分析树中的广度遍历顺序三个要素，对从文本标注中检测提取出来的所有人名度量各自的相对重要性；(3) 基于Web挖掘的多模态信息发现，将一些在当前新闻图像集中出现仅一次或少数几次的人名作为查询文本，通过主流的图像搜索网站对其进行图像检索，并对所有的信息检索结果进行评估，衡量这些检索结果与当前查询人名的相关性，以此实现针对这些特殊人名获得更为充分的附加多模态信息资源；(4) 人脸集内聚度度量，在人脸与人名的对齐过程中，对任意一种全局对齐方式利用k近邻算法计算各个人名对应的人脸集中所有人脸的紧密度分值，以此获得各个人脸集的内聚度，进而对当前人脸‑人名对齐方式进行有效评估；(5) 多模态对齐组合优化，利用各人脸集的内聚度，设定全局目标函数，并按照人脸‑人名对齐分配的处理机制，设立全局约束条件，建立整数规划模型，采用改进的自适应遗传算法进行问题求解，同时结合模拟退火算法，以此能够同时具有较好的全局解与局部解的寻优能力，进而最终能够更好地对人脸‑人名对齐问题进行求解。