一种基于多粒度主题模型的短文本哈希学方法

摘要

本发明公开了一种基于多粒度主题模型的短文本哈希学方法，采用外部大规模语料库训练候选主题模型，可依据数据集类型选择最优的多粒度主题特征，并赋予权重，由该方法选择出来的多粒度主题模型有较好的区分度，在构建稀疏短文本间相似语义关联的同时有助于哈希函数学；本发明方法采用了两种基于多主题模型的哈希学策略，分别为多粒度主题特征融合、哈希码学同哈希函数训练相独立的学方法，以及多粒度主题特征独立、哈希码学同哈希函数训练相耦合的学方法，较基于单粒度主题特征方法，在精度和召回率等多项测评指标上均有大幅度提升。

主权项

一种基于多粒度主题模型的短文本哈希离线训练方法，包括以下步骤：步骤1，利用大规模语料库训练N个候选主题模型T＝{T₁，T₂，...，T_N}，其中所述大规模语料库为外部通用的大规模语料库，N为训练得到的候选主题模型的数目，为一个正整数；步骤2，从训练集X中随即抽取一部分带有标签信息的样本选择M个最优多粒度主题模型集合及对应权重μ＝{μ(T₁)，μ(T₂)，...，μ(T_N)}，其中，M为预先设定的最优多粒度主题模型的数目，为一个正整数；步骤3，计算训练集原始特征的TF‑IDF特征w，并进行归一化；步骤4，从最优的M个主题模型中抽取多粒度主题特征{θ₁，θ₂，...，θ_M}；步骤5，通过两种学习策略融合多粒度主题特征及标签信息进行哈希学习，得到训练集哈希码和哈希函数。