一种基于社交网络的人员地理信息挖掘模型

摘要

本发明涉及大数据并行数据挖掘，尤其是一种基于社交网络海量的数据信息挖掘兴趣人员的地理信息的模型。该模型包括海量数据存储与挖掘模块和软件功能模块，所述的数据存储与挖掘模块由前端服务器、地理信息位置配置库、数据预处理、大数据处理平台构成，软件功能模块加载在地理信息挖掘模型上。前端服务器用于抓取网络信息，数据预处理包含日志搜集和格式清洗两步，用于去掉一些记录不完全的坏数据，保证数据的格式统一，信息完整。大数据处理平台包含有1个名称节点处理单元和2个数据流多重处理器，进行快速、并行的数据挖掘，使数据信息在极短的时间内展现在用户面前。本发明将社交网络与大数据处理相结合，有效提高了地理信息提取的可靠性和速度。

主权项

一种基于社交网络的人员地理信息数据挖掘模型，其特征在于，包括：海量数据存储与挖掘模块；地理信息位置配置库，其设置在海量数据存储与挖掘模块内，查找对应地理信息，与前端服务器相连；日志搜集装置，其设置在海量数据存储与挖掘模块内，根据对应地理位置搜集在社交网络上人员的地理信息，与所述的地理信息配置库相连；格式清洗装置，其设置在海量数据存储与挖掘模块内，统一原始日志中不同的配置格式，包括定义字段的含义和位置以及统一分隔符，删除记录不完全的坏数据，保证信息的完整性。大数据存储挖掘平台，其设置在海量数据存储与挖掘模块内，与格式清洗装置相连。软件功能模块；数据采集模块，其设置在软件功能模块内，从各类社交网络、微博和论坛上搜集信息进行处理。数据索引模块，其设置在软件功能模块内，采用并行处理方式从大量数据中提取可用数据。数据挖掘模块，其设置在软件功能模块内，根据用户需求施行发掘任务。