发明名称 |
一种基于SimHash改进的Kmeans聚类方法 |
摘要 |
本发明公开了一种基于SimHash改进的Kmeans聚类方法,本方法为:1)使用SimHash算法计算每一待聚类文档的指纹,生成一SimHash表;2)选取一待聚类文档,根据该文档的指纹查找该SimHash表,得到一相似文档集合S0;3)将S0中与该待聚类文档的Overlap值将大于阈值α的文档加入相似文档集合S1;4)返回S1所属的聚类簇集合C0,计算该待聚类文档到C0中所有簇质心的距离,然后将该文档归入距离最近且小于设定阈值的簇i并更新簇质心表,否则新建一簇k,将该文档作为该簇k中的第一个元素;若C0为空,则新建一个簇j,将该待聚类文档作为该簇j中的第一个元素。本发明大大提高了聚类效果。 |
申请公布号 |
CN106557777A |
申请公布日期 |
2017.04.05 |
申请号 |
CN201610901630.5 |
申请日期 |
2016.10.17 |
申请人 |
中国互联网络信息中心 |
发明人 |
李晓东;向菁菁;耿光刚 |
分类号 |
G06K9/62(2006.01)I |
主分类号 |
G06K9/62(2006.01)I |
代理机构 |
北京君尚知识产权代理事务所(普通合伙) 11200 |
代理人 |
司立彬 |
主权项 |
一种基于SimHash改进的Kmeans聚类方法,其步骤为:1)使用SimHash算法计算每一待聚类文档的指纹,生成一SimHash表;2)选取一待聚类文档,计算该待聚类文档所属的聚类簇并将其记录到该SimHash表中;根据该待聚类文档的指纹查找该SimHash表,得到与该待聚类文档相似的文档集合S0;3)计算该文档集合S0中的每一文档与该待聚类文档的相似度值;将与该待聚类文档的相似度值大于阈值α的文档加入相似文档集合S1;4)返回该相似文档集合S1所属的聚类簇集合C0,计算该待聚类文档到该聚类簇集合C0中所有簇的簇质心的距离,然后将该待聚类文档归入距离最近且距离小于设定阈值的簇i并更新该簇i的簇质心表,如果该待聚类文档与该聚类簇集合C0中所有簇的簇质心的距离均不小于该设定阈值,则新建一个簇k,将该待聚类文档作为该簇k中的第一个元素;若该聚类簇集合C0为空,则新建一个簇j,将该待聚类文档作为该簇j中的第一个元素。 |
地址 |
100190 北京市海淀区中关村南四街四号1号楼 |