发明名称 文本提取方法、敏感词判定方法、装置和服务器
摘要 本发明公开了一种文本提取方法、敏感词判定方法、装置和服务器,属于互联网技术领域。所述文本提取方法包括:对于文本集合中的每一条文本信息,提取文本信息中的关键词;对于提取到的每一个关键词,通过至少两个预定哈希函数中的每一个哈希函数分别计算关键词在预定阵列中所对应的位置;检测关键词在预定阵列中所对应的位置处存储的内容是否都是预定标识;若检测结果为都是预定标识,则判定关键词为敏感词;提取文本集合中不包含敏感词的文本信息;达到了当通过多个哈希函数计算得到的关键词在预定阵列中所对应的位置处存储的内容都是预定标识时,即可判定关键词是敏感词,提高了文本信息的提取效率的效果。
申请公布号 CN104899201A 申请公布日期 2015.09.09
申请号 CN201410077249.2 申请日期 2014.03.04
申请人 腾讯科技(北京)有限公司 发明人 李炳
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 北京三高永信知识产权代理有限责任公司 11138 代理人 江崇玉
主权项 一种文本提取方法,其特征在于,所述方法包括:对于文本集合中的每一条文本信息,提取文本信息中的关键词;对于提取到的每一个关键词,通过至少两个预定哈希函数中的每一个哈希函数分别计算所述关键词在预定阵列中所对应的位置,所述预定阵列为目标位置处存储有预定标识的阵列,所述目标位置为通过所述至少两个预定哈希函数中的每一个哈希函数对敏感词库中的每个敏感词进行哈希计算后,计算得到的哈希值在所述预定阵列中所对应的位置;检测所述关键词在所述预定阵列中所对应的位置处存储的内容是否都是所述预定标识;若检测结果为都是所述预定标识,则判定所述关键词为敏感词;提取所述文本集合中不包含敏感词的文本信息。
地址 100080 北京市海淀区海淀大街38号银科大厦16层1601-1608室