一种面向领域的网络信息搜索方法

摘要

本发明提供了一种面向领域的网络信息搜索方法，可以将数据信息统一在同一平台，搜索多数据源的信息，支持多种数据格式，包括结构化、半结构化和非结构化数据。该网络信息采集方法步骤如下：领域专家指定领域网站集，同时根据领域特点提出关键词，建立领域关键词库；根据链接和内容分析编写信息采集策略，然后在领域网站采集目标网页；将采集的网页信息进行抽取过滤分类，并建立数据库，根据倒排索引进行信息存储。具体操作包含以下三个模块：网页采集蜘蛛模块，分类器训练模块和数据索引模块。本发明具有较高的适应性和主题相关性，以此为核心的垂直搜索引擎具有较高的查全率和查准率。

主权项

一种面向领域的网络信息搜索方法，其特征在于：首先咨询领域专家的意见，归纳总结领域网站集；再通过网络蜘蛛收集一些典型的网页构成训练文档集合，通过上述领域网站集人工识别出相关性和非相关性；然后根据专家意见建立能够充分代表该领域的名词库，根据领域名词库定义，利用网页分析器获取网页中该领域的相关信息；接着根据领域特点并利用机器学习的方法，在训练集合上建模得到网页自动分类器；再接着编写网络信息采集策略，通过链接和内容的分析指导蜘蛛采集充足的领域相关性高的目标网页，并利用分类器进行判别分类；最后将抽取出来的领域信息存放到数据库中，为将来用户检索提供领域数据源；具体步骤包括了三大模块：网页采集蜘蛛模块，分类器训练模块和数据索引模块。