一种基于真实社会关系和大数据的网络信息分析方法

摘要

本发明公开了一种基于真实社会关系和大数据的网络信息分析方法包括以下步骤：(1)重点客户网络交互信息的抓取，利用既有部署的蜘蛛群集，在每个蜘蛛节点同时运行多个采集线程，采集基于静态IP方式或动态IP方式，不定期访问目标网站通过时间戳，校对信息的更新情况；(2)分析交互信息，系统通过分布式采集集群在互联网上通过爬虫抓取的方式采集重点交互信息数据，经过对单条交互数据加工、清洗、挖掘、分类、自动文摘、语义库管理等工作完成数据预处理，并通过对单条交互信息分析、上下文场景分析、真实社会关系与网络社会关系对比分析等，将分析结果数据导入社会关系信息库中。

主权项

一种基于真实社会关系和大数据的网络信息分析方法，其特征在于，包括以下步骤：(1)重点客户网络交互信息的抓取，利用既有部署的蜘蛛群集，在每个蜘蛛节点同时运行多个采集线程，采集基于静态IP方式或动态IP方式，不定期访问目标网站通过时间戳，校对信息的更新情况，对重点人微博、贴吧、博客、论坛、QQ群的交互信息进行爬虫式增量采集，并对采集目标信源信息进行自学习，自动更新频率高的信源进行自适应地高频率采集，并实时记录采集相关信息之间的关系；(2)分析交互信息，系统通过分布式采集集群在互联网上通过爬虫抓取的方式采集重点交互信息数据，经过对单条交互数据加工、清洗、挖掘、分类、自动文摘、语义库管理等工作完成数据预处理，并通过对单条交互信息分析、上下文场景分析、真实社会关系与网络社会关系对比分析等，将分析结果数据导入社会关系信息库中。