一种基于大数据的服务平台整合方法

摘要

本发明公开了一种基于大数据的服务平台整合方法，包括以下步骤：（1）采集多源异构数据；（2）对所采集的多源异构数据进行整合，并将整合后的数据存入Hbase数据库；（3）利用Hive对整合后存入Hbase数据库的数据进行ETL处理，并存入Hbase数据库，对存储在Hbase数据库中的数据进行清洗得到干净的数据，并将干净数据存储在Hbase数据库中；（4）基于Hadoop技术对得到的干净数据进行建模分析，并将分析结果存储在Hive数据库中；（5）采用基于SOA的服务架构建立数据交换与共享服务总线，然后基于服务总线建立数据交换架构，通过数据交换架构将存储在Hive数据库中的分析结果推送至业务应用系统数据库中。本方法有效地减少了沟通成本和时间成本，提高了数据的有效利用率。

主权项

一种基于大数据的服务平台整合方法，其特征在于，包括以下步骤：步骤1：采集多源异构数据；步骤2:对所采集到的多源异构数据进行整合，并将整合后的数据存入Hbase数据库；步骤3:利用Hive对整合后存入Hbase数据库的数据进行ETL处理，并存入Hbase数据库，对存储在Hbase数据库中的数据进行清洗得到干净数据，并将干净数据存储在Hbase数据库中；步骤4:基于Hadoop技术对存储在Hbase数据库中的干净数据进行建模分析，并将分析结果存储在Hive数据库中；步骤5:采用基于SOA的服务架构建立数据交换与共享服务总线，然后基于服务总线建立数据交换架构，通过数据交换架构将存储在Hive数据库中的分析结果推送至业务应用系统数据库中，以便在相应业务系统中进行应用。