一种数据调度采集装置与方法

摘要

本发明涉及一种数据调度采集装置，该装置包括：平台框架层、采集适配层和设备层；平台框架层用于接收采集请求，下发采集任务获取采集适配层的采集任务进度信息，分发采集数据；采集适配层包括多个采集适配器用于接收采集任务，对设备层进行数据采集；平台框架层包括：调度集群模块和原平台框架模块；原平台框架模块用于接收采集请求和适配器控制信息；调度集群模块用于接收原平台框架模块发出的采集请求，生成采集任务并将采集任务下发至采集适配层相应适配器域中负荷较轻且未损坏的适配器中。本发明实施例由平台框架层完成采集任务调度，提高了调度的高可用性，扩展了整体调度水平；利用分布式文件系统HDFS模块对采集数据进行存储，实现了数据的高容错性与高吞吐量。

主权项

一种数据调度采集装置，其特征在于，所述装置包括：平台框架层、采集适配层和设备层，所述平台框架层，用于接收采集请求，下发采集任务，获取所述采集适配层的所述采集任务进度信息，分发采集数据；所述采集适配层包括多个采集适配器，用于接收所述采集任务，对所述设备层进行数据采集；所述采集适配层将具有相同采集能力的多个适配器划分为一个适配器域；所述设备层包括多个数据源，用于向所述采集适配层提供所述采集数据；其中，所述平台框架层包括：调度集群模块和原平台框架模块；所述原平台框架模块，用于接收采集请求和适配器控制信息；所述调度集群模块，用于接收所述原平台框架模块发出的所述采集请求，生成采集任务，并将所述采集任务下发至所述采集适配层相应适配器域中负荷较轻，且未损坏的适配器中；所述采集适配层中的所述适配器，根据所述采集任务向所述设备层中相应的所述数据源进行数据采集；所述原平台框架模块通过所述适配器控制信息获取所述采集适配层的采集任务进度信息。