仿人工细粒度网页信息采集方法

摘要

本发明针对当前网页信息采集所采用的字典式和格式区分式采集方法存在的所能细分化采集到的数据量十分有限、效率低、准确率低、建设成本高、适用面窄等问题，公开了一种能模拟人工工作的采集方法的仿人工细粒度网页信息采集方法，它可广泛用于建立细粒度查询的搜索引擎、商业情报收集、电子商务网站信息量的低成本丰富等等，与传统网络机器人采集出的粗粒度全文信息相比，本发明大大提高了细分采集信息价值，所采集到的细分信息可以直接用于商务情报的分析、各类数据库系统的数据源，甚至可以直接用做同类网站的数据库。

主权项

1、一种仿人工细粒度网页信息采集方法，其特征是它包括以下步骤：a、在互联网上采用传统网络机器人的漫游方式对良结构化或半结构化网页内容及其网址进行采集；b、对采集到的网页的URL进行模版区分，或将该网页地址中的符号“ ”前的部分作为模版的识别标志，或直接将该网页的网址作为模版类别并添加相应的识别标志；c、对上述网页内容中的一个或多个目的所需要的信息元进行人工采集，同时与前述的本网页的识别标志一起归入本地数据库中；d、由计算机根据所采集到的信息元进行分析定位，生成若干套以标识信息点的相对位置或绝对位置的定位坐标体系，其中，各套定位坐标体系准确度评价指数的初始值均为零；e、由计算机选用上述信息点定位坐标体系中准确度评价指数最高的一套对同模版的所有网页进行批量细粒度采集，将网页中与目的所需要的信息元归入数据库中；f、如果发现采集结果的准确率低，则重复步骤C的结果，由计算机再次生成相关的相对位置和绝对位置定位采集模式，并与先前的定位采集模式进行各自对应比较，并做记录，选用吻合度高的定位采集模式进行后续操作；g、如果经f步骤修正后的准确度仍然较低，则可重复步骤f，直到准确率达到满意为止。