一种行业垂直搜索引擎系统

摘要

本发明公开了一种行业垂直搜索引擎系统，属于大数据领域。所述行业垂直搜索引擎系统包括数据采集模块、数据处理模块、数据展示模块，所述数据采集模块用于在行业信息相关网站中爬取相关网页，并将网页源文件保存到hbase数据库中；所述数据处理模块对爬取到的相关网页进行数据处理；所述数据展示模块用于接收查询内容并展示搜索结果。与现有技术相比，本发明的行业垂直搜索引擎系统能够提供比较精准或者细化的搜索服务，且搜索效率高，具有很好的推广应用价值。

主权项

一种行业垂直搜索引擎系统，其特征在于：包括数据采集模块、数据处理模块、数据展示模块，所述数据采集模块用于在行业信息相关网站中爬取相关网页，并将网页源文件保存到hbase数据库中；所述数据处理模块通过以下方法对爬取到的相关网页进行数据处理：1）采用向量空间模型建模；2）采用词频逆文档频权重进行权重计算；3）采用信息增益计算特征项的贡献程度大小；4）采用‑最近邻结点算法对待分类文本进行归类处理；所述数据展示模块用于接收查询内容并展示搜索结果。