一种大数据抽取和交换系统

摘要

本发明公开了一种大数据抽取和交换系统，本发明涉及一种大数据抽取与交换的方法与系统，通过一个部署于Spark的控制与交换中心结合若干交换代理，支持关系数据库、非结构化文档、传感器数据库与Hadoop平台Hive、HBase、HDFS系统之间数据双向流转，通过采用并行任务调度和采用内存来存储所有中间数据，实现高效的数据交换。

主权项

一种大数据抽取和交换系统，其特征在于：包括部署于Spark平台的控制交换中心，通过Yarn资源管理框架将Spark平台和Hadoop平台部署于同一个集群；控制交换中心内存对象存储与Spark中，所有中间数据与不同类型数据模型转换任务也由Spark执行；包括都分散在不同的服务器中的关系数据库系统、非结构化文档、传感器数据；包括一个独立的集群部署Hadoop大数据平台，所述Hadoop大数据平台包含HDFS、HBase、Hive子系统，用于加载抽取的数据，并提供分析功能；包括部署于不同数据源系统之上或者控制交换中心的交换代理；用于通过远程接口来和数据源进行交互；包括交换代理与交互控制中心之间的控制消息通道与数据通道；所述控制交换中心包含任务调度模块、内存对象管理模块、数据转换模块；所述任务调度模块用于调度交换代理数据抽取、数据加载任务，数据模型转换任务，数据传输任务；所述内存对象管理模块用于管理中间数据的存储与更新；所述数据转换模块用于不同数据模型与统一内存对象之间的转换；所述控制交换中心用于通知数据源的交换代理进行数据抽取，并将数据传输到控制交换中心；所述控制交换中心用于进行源数据模型到内存对象模型的转换；所述控制交换中心还用于任务的统一调度：a)对于控制交换中心的数据转换任务，采用Spark提供的编程语言开发；b)根据需求或根据资源利用率导向调度任务执行的顺序；当内存空间不足，无法存储新到数据，控制交换中心根据调度策略通知交换代理，暂停数据抽取任务，等内存空间满足需要时，继续执行数据抽取任务。