并行化分布式网络舆情数据管理方法及系统

摘要

本发明提出一种并行化分布式网络舆情数据管理方法及系统，其中该方法包括：对互联网数据进行抓取；对互联网数据进行抽取；存储和展示抓取和抽取得到的互联网舆情数据；以及对互联网舆情数据的索引和查询进行优化。本发明的方法和系统具有效率较高的优点。

主权项

一种并行化分布式网络舆情数据管理方法，其特征在于，包括：对互联网数据进行抓取，包括：用户设定网站的类型、所属行业、所要抓取索引页的链接；然后将所述索引页对应的网页信息抓取的正则配置网页导入数据库；以及读取所述索引页的完整抓取配置信息，对所述索引页下的所有全文和评论进行抓取，并对抓取的网页进行标定和记录，其中，所述数据库的读操作和写操作在不同数据库服务器中进行；对所述互联网数据进行抽取，包括：将所述索引页对应的网页信息抽取正则配置文件导入数据库，以及读取所述索引页下正文、评论的完整抽取配置信息，进行所述索引页下的所有正文及评论的抽取，并对抽取的网页进行标定和记录；存储和展示抓取和抽取得到的互联网舆情数据；以及对所述互联网舆情数据的索引和查询进行优化。