发明名称 一种基于SimHash改进的Kmeans聚类方法
摘要 本发明公开了一种基于SimHash改进的Kmeans聚类方法,本方法为:1)使用SimHash算法计算每一待聚类文档的指纹,生成一SimHash表;2)选取一待聚类文档,根据该文档的指纹查找该SimHash表,得到一相似文档集合S0;3)将S0中与该待聚类文档的Overlap值将大于阈值α的文档加入相似文档集合S1;4)返回S1所属的聚类簇集合C0,计算该待聚类文档到C0中所有簇质心的距离,然后将该文档归入距离最近且小于设定阈值的簇i并更新簇质心表,否则新建一簇k,将该文档作为该簇k中的第一个元素;若C0为空,则新建一个簇j,将该待聚类文档作为该簇j中的第一个元素。本发明大大提高了聚类效果。
申请公布号 CN106557777A 申请公布日期 2017.04.05
申请号 CN201610901630.5 申请日期 2016.10.17
申请人 中国互联网络信息中心 发明人 李晓东;向菁菁;耿光刚
分类号 G06K9/62(2006.01)I 主分类号 G06K9/62(2006.01)I
代理机构 北京君尚知识产权代理事务所(普通合伙) 11200 代理人 司立彬
主权项 一种基于SimHash改进的Kmeans聚类方法,其步骤为:1)使用SimHash算法计算每一待聚类文档的指纹,生成一SimHash表;2)选取一待聚类文档,计算该待聚类文档所属的聚类簇并将其记录到该SimHash表中;根据该待聚类文档的指纹查找该SimHash表,得到与该待聚类文档相似的文档集合S0;3)计算该文档集合S0中的每一文档与该待聚类文档的相似度值;将与该待聚类文档的相似度值大于阈值α的文档加入相似文档集合S1;4)返回该相似文档集合S1所属的聚类簇集合C0,计算该待聚类文档到该聚类簇集合C0中所有簇的簇质心的距离,然后将该待聚类文档归入距离最近且距离小于设定阈值的簇i并更新该簇i的簇质心表,如果该待聚类文档与该聚类簇集合C0中所有簇的簇质心的距离均不小于该设定阈值,则新建一个簇k,将该待聚类文档作为该簇k中的第一个元素;若该聚类簇集合C0为空,则新建一个簇j,将该待聚类文档作为该簇j中的第一个元素。
地址 100190 北京市海淀区中关村南四街四号1号楼