网站内容更新检测评价方法及系统

摘要

一种网站内容更新检测及评价方法，通过抓取原始页面和目标页面的源代码，解析原始页面和目标页面的DOM树模型，并对DOM树的相似度进行比较，得出原始页面与目标页面的相似度值，当相似度值大于设定的相似度值时，认为页面没有更新，反之则认为页面有更新。一种鉴别网站更新的系统，包括解析模块、简单比较模块、标签比较模块和文本比较模块，该系统可以快速、准确的完成对网站内容更新的检测。

主权项

一种网站内容更新检测评价的方法，其特征在于：该方法包括以下步骤：(1)抓取原始页面的URL地址所对应的基础页面源代码，并生成页面源代码所对应的文件对象模型DOM树；(2)抓取目标页面的URL地址所对应的基础页面源代码，并生成页面源代码所对应的文件对象模型DOM树；(3)将目标页面的DOM树与原始页面的DOM树进行比较，计算原始页面的DOM树与目标页面的DOM树的相似度，将此相似度值与用户设置的相似度值进行比较，若大于用户设定的相似度值，则认为页面内容没有更新；若小于用户设定的相似度值，则认为页面内容有更新；所述计算原始页面的DOM树与目标页面的DOM树的相似度的方法为：(a)对步骤(1)中对原始页面的页面源代码进行md5数字签名；(b)对步骤(2)中对目标页面的页面源代码进行md5数字签名；(c)若原始页面源代码的md5数字签名与目标页面源代码的md5数字签名相同，则认为原始页面的DOM树与目标页面的DOM树相似度为100％，目标页面没有更新，结束比较；否则进行步骤(d)；(d)计算目标页面DOM树所有直属子元素与原始页面DOM树所有直属子元素之间的相似度；(e)计算目标页面DOM树每个直属子元素占目标页面DOM树文档模型长度的百分比，即元素长度百分比；取步骤(d)中计算得到的目标页面DOM树的每个直属子元素与原始页面DOM树每个直属子元素之间的相似度值，即元素相似度值；将每个直属子元素的元素长度百分比与该直属子元素对应的元素相似度值相乘，得到每个元素的DOM树相似度值；(f)将目标页面DOM树的每个直属子元素的DOM树相似度值相加，得到原始页面的DOM树与目标页面的DOM树的相似度值，若相似度大于设定值，则认为页面没有更新，若相似度小于设定的相似度值，则认为页面有更新；(g)将步骤(f)中对相似度的计算结果存保存到存储模块，同时将最新的页面URL快照及页面对应的DOM树保存到存储模块中，用最新的页面DOM树替换原始页面DOM树，作为之后比较的基础。