基于多模态信息融合与图聚类的跨媒体话题检测方法、装置

摘要

本发明公开了一种基于多模态信息融合与图聚类的跨媒体话题检测方法及其装置，其中该方法包括：步骤一，进行文本信息、视频内容预处理；步骤二，进行文本融合及高层特征提取，获取文本信息相似度；步骤三，进行视频相似片段检测，获取视觉信息相似度；步骤四，根据文本信息相似度、视觉信息相似度并融合数据的时间信息计算最终数据相似度；步骤五，根据最终数据相似度进行图融合、图聚类，完成话题检测。该方法有效避免了对时间轴的硬量化带来的过分割与过生成的问题以及现有话题检测方法无法移植到来自不同媒体源的多模态数据的话题检测问题。

主权项

一种基于多模态信息融合与图聚类的跨媒体话题检测方法，其特征在于，包括：步骤一，进行文本信息、视频内容预处理；步骤二，进行文本融合及高层特征提取，获取文本信息相似度；步骤三，进行视频相似片段检测，获取视觉信息相似度；步骤四，根据文本信息相似度、视觉信息相似度并融合数据的时间信息计算最终数据相似度；步骤五，根据最终数据相似度进行图融合、图聚类，完成话题检测；所述步骤二中，包括：利用余弦距离计算两个数据点间的文本信息相似度，公式如下：${\mathrm{Sim}}_{ij}^T=\cos ine(d_i^T,d_j^T)$其中：Sim_ij^T表示第i个数据和第j个数据在文本层面的文本信息相似度；表示第i个数据的文本高层特征；表示第j个数据的文本高层特征；所述步骤三中，包括：将视频信息相似度定义为视频重复关键帧的数目；${\mathrm{Sim}}_{ij}^V=\#NDK(i,j)$其中：Sim_ij^V表示第i个数据与第j个数据在视觉信息层面的视觉信息相似度；#NDK(i,j)表示第i个数据的视频与第j个数据的视频重复关键帧的数目；所述步骤四中，包括：采用Jaccard相似度计算两个数据点k近邻的数据集的相似度作为两个节点的实际相似度：$J_{ij}^T=\frac{|N_i^T\left(k\right)\cap N_j^T\left(k\right)|}{|N_i^T\left(k\right)\cup N_j^T\left(k\right)|}$$J_{ij}^V=\frac{|N_i^V\left(k\right)\cap N_j^V\left(k\right)|}{|N_i^V\left(k\right)\cup N_j^V\left(k\right)|}$其中：N_i^T(k)表示第i个节点文本信息相似度排名最高的k个数据点集合，不包含i节点本身；N_j^T(k)表示第j个节点文本信息相似度排名最高的k个数据点集合，不包含j节点本身；N_i^V(k)表示第i个节点视觉信息相似度排名最高的k个数据点集合，不包含i节点本身；N_j^V(k)表示第j个节点视觉信息相似度排名最高的k个数据点集合，不包含j节点本身；J_ij^T表示第i个节点和第j个节点在文本信息层面的Jaccard相似度；J_ij^V表示第i个节点和第j个节点在视觉信息层面的Jaccard相似度；所述步骤四中，包括：对数据进行时序约束：其中：β表示衰减系数，α_ij表示第i个数据与第j个数据时间轴上的相似度衰减关系，t_i、t_j分别表示第i个数据、第j个数据的上传时间，Δ为量化系数，表示在Δ时间段内，数据间的相似度不存在衰减，相似度为实际相似度。