一种大规模分布式数据采集系统及方法

摘要

本发明提出一种大规模分布式数据采集系统及方法，属于数据采集技术领域，该系统包括任务分配节点模块、管理节点模块、任务仓库模块和采集节点模块；管理节点用于提供分布式协同服务，接收并管理采集节点和任务分配节点的注册信息，按照一定的频率与采集节点和任务分配节点进行通信；任务分配节点用于对采集任务进行设定、分配和监控；任务仓库用于接收和存放任务分配节点发送来的采集任务；采集节点用于从任务输入仓库中获取采集任务，并完成对现场控制站中相应数据的采集；采集节点执行的采集任务可根据用户设定动态变化，任务分配节点和采集节点中的某个或某几个故障不会影响当前采集周期采集结果，具有高灵活性、高容错性和高可靠性。

主权项

一种大规模分布式数据采集系统，其特征在于，该系统包括任务分配节点模块、管理节点模块、任务仓库模块和采集节点模块；所述的任务分配节点模块包括多个任务分配节点；所述的管理节点模块包括管理节点；所述的任务仓库模块包括任务仓库；所述的采集节点模块包括多个采集节点；其中，任务分配节点：用于设定所需采集的任务，从管理节点实时获取在线的采集节点列表和其他在线的任务分配节点列表，从而获取每个在线采集节点的运行状态信息及初始对其设置的运行状态阈值，将用户设定的采集任务在各个在线任务分配节点上逐条进行循环均分，并根据所获取采集任务的优先级以及各个在线采集节点的运行状态信息，依次将采集任务分配至在线且处于正常运行状态的采集节点，将分配给目标采集节点的采集任务作为备份循环分配给与其相邻的下两个编号在线采集节点，将分配结果发送至任务仓库中；同时实时对各自节点上采集任务的分配、执行和等待情况进行监控；管理节点：用于提供分布式协同服务，接收并管理采集节点和任务分配节点的注册信息，按照注册顺序对采集节点进行编号，按照一定的频率与采集节点进行通信以获取在线采集节点；按照注册顺序对任务分配节点进行编号，按照一定的频率与任务分配节点进行通信以获取在线任务分配节点；任务仓库：用于接收任务分配节点发送的采集任务；采集节点：用于从管理节点获取其他在线采集节点列表，从任务仓库中获取各自所需采集的任务，并按照采集任务的优先级顺序对现场控制站的数据进行采集，将采集结果存入数据库中。