一种大数据平台业务双活实现方法及系统

摘要

本发明公开了一种大数据平台业务双活实现方法及系统，包括：Hadoop集群海量文件处理集群获取源文件进行保存，并对所述源文件中的源数据进行预处理；第一集群进行数据加工，得到数据加工结果，并对数据加工结果进行节点分块；第一集群上的数据加工结果通过同步工具将相关数据同步至第二集群；第一集群和第二集群具有相同的节点数，其之间通过二进制数据进行节点对节点的增量同步。本发明基于列存储的MPP数据库架构，在同构的集群间节点对节点的实现二进制数据的增量同步，通过传输压缩态的增量文件块，使批量查询分离的同时又保证了联机查询的时效性，解决批量加工和联机实时查询之间的时间、资源上存在冲突的问题。

主权项

一种大数据平台业务双活实现方法，其特征在于，应用于海量数据批量加工和实时联机查询，该方法基于列存储的MPP数据库架构，包括：Hadoop集群海量文件处理集群获取源文件进行保存，并对所述源文件中的源数据进行预处理；第一集群进行数据加工，得到数据加工结果，并对数据加工结果进行节点分块；所述第一集群上的数据加工结果通过同步工具将相关数据同步至第二集群；所述第一集群和所述第二集群具有相同的节点数，其之间通过二进制数据进行节点对节点的增量同步。