多模态数据的融合概率潜在语义分析方法

摘要

本发明公开了概率潜在语义分析技术领域中的一种多模态数据的融合概率潜在语义分析方法。本发明从多模态数据本质出发，通过交叉结构的引入，将仅用于单模态的标准概率潜在语义分析模型扩展至多模态，主要对每个模态对潜在语义空间贡献的差异性和它们之间内容的关联性进行建模，从而为多模态数据提供更为准确的分析和描述。本发明通过全局的参数更新来实现更为精确的参数估计；为各模态选定合适的主题数取值范围提供了依据，减少了人工选取的工作量。

主权项

1.多模态数据的融合概率潜在语义分析方法，其特征是该方法包括以下步骤：步骤1：建立各个模态的标准概率潜在语义分析模型，在此基础上建立融合模型，即分别为模态A和模态V构建标准的概率潜在语义分析模型，可表示为：d→z^A→w^A和d→z^V→w^V；在此基础上，再建立模态A和模态V之间主题和词汇的交叉生成关系，即z^A→w^V和z^V→w^A，实现融合模型的建模；步骤2：确定融合模型的工作空间，并选定主题数；步骤3：将融合模型分解为非对称的概率潜在语义分析模型，根据融合模型的输入值和选定主题数，计算非对称的概率潜在语义分析模型的初始参数值；步骤4：通过最大期望算法对初始参数值更新，得到最终参数；所述最大期望算法的计算公式为：$L=\underset{i=1}{\overset{M}{\Pi }}\left(\underset{p=1}{\overset{N_A}{\Pi }}p{(w_p^A,d_i)}^{n(w_p^A,d_i)}\underset{q=1}{\overset{N_V}{\Pi }}p{(w_q^V,d_i)}^{n(w_q^V,d_i)}\right)$其中：L为似然函数值；为模态A的共现概率；为模态V的共现概率；为模态A的已知观察值；为模态V的已知观察值；为模态A的观察值共现矩阵；为模态V的观察值共现矩阵；N_A为模态A的词汇数；N_V为模态V的词汇数；为模态A的第p个词汇；为模态V的第q个词汇；d_i为第i个文档；M为文档集内文档的数目；d为观察值中的文档集；z^A为观察值中第A个模态的主题空间；w^A为观察值中第A个模态的词汇集；z^V为观察值中第V个模态的主题空间；w^V为观察值中第V个模态的词汇集；步骤5：利用最终参数对待检测的模态进行分析，得到了新数据的主题条件概率。