一种网络查重方法及系统

摘要

本发明提供了一种网络查重方法及系统。其中，对比库，收录素材；分词库，收录分词及对应词性；分词模块进行分词；分词特征值生成模块生成分词词性特征值；分词自由向量维数确定模块确定分词自由向量维数；分词精简向量维数生成模块，生成分词精简向量维数；分词特征向量生成模块，生成分词特征向量；待鉴定文档分词模块用于对待鉴定文档进行分词，得到分词结果；待鉴定文档分词自由向量维数确定模块，确定分词自由向量维数；待鉴定文档分词精简向量维数生成模块，生成待鉴定文档分词精简向量维数；待鉴定文档分词特征向量生成模块，生成待鉴定文档分词特征向量；进行相似度比对。

主权项

一种网络查重系统，其特征在于，包括：对比库，用于收录用作对比对象的素材；所述对比库进一步包括书籍库、论文库、专利库、公式库、谚语俗语库、谚语库、名人名言库、诗词库子库；所述对比库中不同子库采用分布式方式存储于不同的站点位置；访问对比库时根据不同子库所存放的站点位置分别进行访问；分词库，用于收录分词及对应词性；分词库中针对每一分词进行唯一编号，使用W_ID表示某一分词在分词库中的唯一编号；所述分词库保存的分词词性类别为名词、动词、形容词、数词、量词、代词、副词、介词、连词、助词、叹词和拟声词；分词模块，用于对各素材进行分词，并将分词结果保存至对比库中；分词模块将分词结果与分词库保存的词性进行比对，确定分词结果的词性；分词特征值生成模块统计每一个分词在对应素材中出现的数量，生成每一个分词对应的分词词性特征值WCCV＝[W_ID,W_N，W_CHAR]，WCV＝[W_ID,W_N]，其中W_ID表示该分词在分词库中的唯一编号，W_N表示该分词在该素材中出现的总次数；W_CHAR表示该分词的词性；分词自由向量维数确定模块根据素材的分词结果确定分词自由向量维数WFV；所述分词自由向量维数WFV等于对特定素材进行分词后得到的不同分词的数量；分词精简向量维数生成模块，用于对每个素材的分词自由向量维数WFV进行精简，生成分词精简向量维数RWV；分词特征向量生成模块，用于根据分词精简向量维数RWV提取每个素材中所述分词精简向量维数RWV对应的特征值生成分词特征向量WVE_RWV；WVE_RWV＝[W_ID1,W_N1,...,W_IDi,W_Ni,...,W_IDRWV,W_NRWV]其中W_IDi表示分词在分词库中的唯一编号，W_Ni,表示该分词在该素材中出现的总次数，将该次数作为该分词的特征值；用户访问方式检测模块，用于提示用户上传待鉴定文档；用户检测模式确定模块，用于判断当前用户检测模式为普通抄袭鉴定模式时，待鉴定文档分词模块用于对待鉴定文档进行分词，得到分词结果；待鉴定文档分词自由向量维数确定模块，用于根据待鉴定文档的分词结果确定分词自由向量维数WFV_TBI；待鉴定文档分词精简向量维数生成模块，用于对待鉴定文档的分词自由向量维数WFV_TBI进行精简；生成待鉴定文档分词精简向量维数RWV_TBI；待鉴定文档分词特征向量生成模块，根据分词精简向量维数RWV_TBI提取每个待鉴定文档中与所述待鉴定文档分词精简向量维数RWV_TBI对应的特征值生成待鉴定文档分词特征向量WVE_RWV_TBI，其中WVE_RWV_TBI＝[W_ID₁,W_N₁,...,W_ID_i,W_N_i,...,W_ID_{RWV_TBI},W_N_{RWV_TBI}]其中W_ID_i表示分词在分词库中的唯一编号，W_N_i表示该分词在该待鉴定文档中出现的总次数，将该次数作为该分词的特征值；用户检测模式确定模块判断当前用户检测模式为普通抄袭鉴定模式时，进行相似度比对时，待鉴定文档分词特征向量生成模块生成待鉴定文档的分词特征向量WVE_RWV_TBI；WVE_RWV_TBI＝[W_ID₁,W_N₁,...,W_ID_i,W_N_i,...,W_ID_{RWV_TBI},W_N_{RWV_TBI}]，待鉴定文档的分词特征向量的维数为RWV_TBI；分词特征向量生成模块生成对比库中素材的分词特征向量WVE_RWV；WVE_RWV＝[W_ID₁,W_N₁,...,W_ID_i,W_N_i,...,W_ID_RWV,W_N_RWV]；其中，待鉴定文档的分词特征向量的维数RWV_TBI等于分词特征向量的维数RWV；待鉴定文档特征向量调整模块，用于将分词特征向量WVE_RWV_TBI中的所有特征值对应的W_ID_i值按照分词库中的编号进行升序或降序排列，并将缺少的W_ID_i值插入，插入的分词编号W_ID_i所对应的特征值为0；得到扩展的待鉴定文档分词特征向量WVE_RWV_TBI_EXT＝[W_ID_{TBI_EXT_1},W_N_{TBI_EXT_1},...,W_ID_{TBI_EXT_i},W_N_{TBI_EXT_i},...,W_ID_{TBI_EXT_RWV_TBI},W_N_{TBI_EXT_RWV_TBI},...,W_ID_W,W_N_W]；素材特征向量调整模块，用于将分词特征向量WVE_RWV中的所有特征值对应的W_ID_i值按照分词库中的编号进行升序或降序排列，并将缺少的W_ID_i值插入，插入的分词编号W_ID_i所对应的特征值为0；得到扩展的分词特征向量WVE_RWV_EXT＝[W_ID_{EXT_1},W_N_{EXT_1},...,W_ID_{EXT_i},W_N_{EXT_i},...,W_ID_{EXT_RWV},W_N_{EXT_RWV},...,W_ID_W,W_N_W]；普通抄袭鉴定相似度计算模块，计算待鉴定文档与对比库中的任一素材的之间的相似度；通过以下公式计算：$\begin{array}{c}Sim\left(WVE\_RWV\_TBI,WVE\_RWV\right)=Sim\left(WVE\_RWV\_TBI\_EXT,WVE\_RWV\_EXT\right)\\ =\frac{2\underset{i=1}{\overset{w}{\Sigma }}W\_N_{TBI\_EXT\_i}\times W\_N_{EXT\_i}}{\underset{i=1}{\overset{w}{\Sigma }}W\_{N_{TBI\_EXT\_i}}^2+\underset{i=1}{\overset{w}{\Sigma }}W\_{N_{EXT\_i}}^2+\sqrt{\underset{i=1}{\overset{w}{\Sigma }}W\_{N_{TBI\_EXT\_}}_i^2}\times \sqrt{\underset{i=1}{\overset{w}{\Sigma }}W\_{N_{EXT\_i}}^2}}\end{array}$当待鉴定文档与所有素材对比完成后，提取所有疑似素材，将待鉴定文档与疑似素材采用滑动窗口进行进一步对比；所述将待鉴定文档与疑似素材采用滑动窗口进行进一步对比具体为：步骤S0：开始；S1：滑动窗口设置模块初始化相似窗口计数器CT₁＝0、滑动歩长计数器CT₂＝0；步骤S2：滑动窗口设置模块设置待鉴定文档与疑似素材的滑动窗口均位于文档起始位置；步骤S3：滑动窗口对比模块对比待鉴定文档的滑动窗口与疑似素材的滑动窗口，统计其中相同的实词分词的数量；步骤S4：滑动窗口对比模块判断相同的实词分词的数量是否大于或等于门限值TH_W；当大于或等于门限值时计数器值加一、即CT₁＝CT₁+1，并记录鉴定文档的滑动窗口与疑似素材的滑动窗口当前的位置及滑动窗口内的内容；步骤S5：滑动窗口设置模块设置疑似素材的滑动窗口滑动一个滑动步长；步骤S6：滑动窗口设置模块判断是否位于文档结束位置处；如果不是结束位置，则返回步骤S3：如果是结束位置，则去往步骤S11；步骤S11：滑动窗口设置模块判断待鉴定文档的滑动窗口是否位于文档结束位置处；如果不是结束位置，则去往步骤S12，如果是结束位置，则去往步骤S13；步骤S12：滑动窗口设置模块设置疑似素材的滑动窗口回到文档起始位置；待鉴定文档的滑动窗口滑动一个滑动步长，CT₂＝CT₂+1去往步骤S3；步骤S13：滑动窗口对比模块计算相似窗口计数器CT₁数值与滑动歩长计数器CT₂数值的比值M；S14：滑动窗口对比模块判断比值M是否大于或等于预设门限值TH_m，当M≥TH_M时，则认为该待鉴定文档与该疑似素材相似；当M<TH_M时，则认为该待鉴定文档与该疑似素材不相似；S15：滑动窗口对比模块判断是否还有疑似素材需要对比，如果有，则返回步骤S1；如果没有则去往步骤S16；步骤S16：对比报告生成模块生成并输出对比报告，所述对比报告中包含该鉴定文档与所有相似的疑似素材的相似窗口计数器CT₁数值，滑动歩长计数器CT₂数值，以及两者的比值，该鉴定文档与相似的疑似素材相似部分的具体位置以及具体内容；步骤S17：对比结束。