面向多租户的SaaS舆情监控系统及方法

摘要

本发明涉及一种面向多租户的SaaS舆情监控系统及方法，包括数据采集与存储模块、基于并行处理框架的数据分析模块；所述数据采集与存储模块是在Nutch开源框架的基础上，对指定的包括新闻、博客、论坛在内的网站进行实时监控，发现并下载最新网页的全文信息，自动提取网页中的链接，访问其他网页进行抓取并存储至数据库中，采集的舆情数据采用HBase分布式存储技术实现海量数据的存储；所述数据分析模块在并行计算框架基础上，采用基于Single‑Pass的改进算法发现热点话题，将挖掘出的热点话题与用户预设的业务需求描述进行逐条匹配，用以实现用户在海量数据上的筛选和过滤。本发明在多数据源、多租户等方面体现了良好的可扩展性。

主权项

一种面向多租户的SaaS舆情监控系统，其特征在于：包括数据采集与存储模块、基于并行处理框架的数据分析模块；所述数据采集与存储模块是在Nutch开源框架的基础上，对指定的包括新闻、博客、论坛在内的网站进行实时监控，发现并下载最新网页的全文信息，自动提取网页中的链接，访问其他网页进行抓取并存储至数据库中，采集的舆情数据采用HBase分布式存储技术实现海量数据的存储；所述数据分析模块在并行计算框架基础上，采用基于Single‑Pass的改进算法发现热点话题，将挖掘出的热点话题与用户预设的业务需求描述进行逐条匹配，用以实现用户在海量数据上的筛选和过滤。