发明名称 |
文本消重系统和方法 |
摘要 |
本发明提供了一种文本消重系统,所述系统包括:分割模块,适于将目标文本和待比较文本依据分割符号分割成分割段,并将目标文本和待比较文本的分割段按相同的方式组成序列;哈希值计算模块,适于在目标文本中选定目标序列,计算出目标序列的哈希值以及待比较文本中全部或部分序列的哈希值;消重模块,适于将所述比较序列的哈希值依次与待比较文本中序列的哈希值相比较,如果存在相同的哈希值,则执行消重操作。 |
申请公布号 |
CN102779188A |
申请公布日期 |
2012.11.14 |
申请号 |
CN201210227111.7 |
申请日期 |
2012.06.29 |
申请人 |
北京奇虎科技有限公司;奇智软件(北京)有限公司 |
发明人 |
卢宏林 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
北京路浩知识产权代理有限公司 11002 |
代理人 |
王莹 |
主权项 |
一种文本消重系统,其特征在于,所述系统包括:分割模块,适于将目标文本和待比较文本依据分割符号分割成分割段,并将目标文本和待比较文本的分割段按相同的方式组成序列;哈希值计算模块,适于在目标文本中选定目标序列,计算出目标序列的哈希值以及待比较文本中全部或部分序列的哈希值;消重模块,适于将所述比较序列的哈希值依次与待比较文本中序列的哈希值相比较,如果存在相同的哈希值,则执行消重操作。 |
地址 |
100088 北京北京市西城区新街口外大街28号D座112室(德胜园区) |