一种基于工业云的大规模分布式智能数据采集系统及方法

摘要

本发明提出一种基于工业云的大规模分布式智能数据采集系统及方法，属于数据采集技术领域，本发明加入用户管理模块对系统用户进行权限验证；加入日志管理功能，对各采集周期的采集结果、存储结果以及报警日志进行记录；加入资源调度功能，根据用户设定的采集任务量确定初始工作的采集节点，其余采集节点作为冗余热备，同时在系统异常时对采集节点进行调度；加入监控报警功能，对系统各方面进行实时监控，且能够对系统异常进行实时报警；加入数据压缩功能，对采集数据进行压缩，节省空间提高效率；当存在采集节点异常时在当前采集周期，备份的采集节点将对应的备份采集任务的采集结果存入数据库，保证了当前采样周期采集的容错性和可靠性。

主权项

一种基于工业云的大规模分布式智能数据采集系统，其特征在于，包括用户管理模块、日志管理模块、资源管理模块、数据采集模块、数据压缩和存储模块、监控报警模块、现场控制站、无线设备和现场设备；所述的用户管理模块：用于完成用户注册、用户登录及身份验证、用户注销、用户信息查询和用户信息修改；所述的日志管理模块：用于将每个采集节点每个采集周期采集任务的采集结果信息和存储结果信息、报警信息写入日志，对采集结果信息、存储结果信息和报警信息进行查询，并打印日志；所述的资源管理模块：用于对各采集节点的运行状态阈值和过载运行等待时间进行设定；进行调度信息预处理，即从数据采集模块的任务管理子模块获取设定的采集任务，从监控报警模块中的节点监控子模块获取各现场控制站运行状态信息、无线设备运行状态信息、各采集节点的运行状态信息，根据各现场控制站、无线设备运行状态信息判断有线采集任务对应的现场控制站和无线采集任务对应的无线设备是否均正常运行，并在有线采集任务对应的现场控制站或无线采集任务对应的无线设备处于故障或未开启状态时，提示用户重新设置任务；根据各采集节点的运行状态信息和采集任务量进行资源分配，确定工作的采集节点，并将资源分配结果发送到数据采集模块的任务调度子模块；当出现采集节点异常时，进行异常后资源调度，即从冗余热备的采集节点中选择新的采集节点进行工作，将调度结果发送到数据采集模块的任务调度子模块；所述的数据采集模块包括：任务管理子模块、任务调度子模块和采集子模块，其中，所述的任务管理子模块：用于对采集任务进行添加、删除和修改；采集任务的设置包括：采集数据组的设置，每个数据组包含的采集数据项的设置，以及每个采集任务的采集周期、采集优先级、采集等级和采集模式的设置；一个采集任务为一个数据组或一个数据项；所述的任务调度子模块：用于从任务管理子模块中获取设置的采集任务，根据采集任务和资源管理模块的调度结果进行任务分配，并将分配给目标采集节点的高等级的主采集任务作为备份任务循环分配给与其编号相邻的下两个工作采集节点，将任务分配结果发送到采集子模块的相应采集节点；当存在采集节点异常时，将异常采集节点上的全部或部分采集任务迁移至资源管理模块所选择的新加入的采集节点上；当存在采集节点上采集任务异常时，将该采集任务的第一个成功采集的备份采集节点设为该采集任务的主采集节点，同时获取各工作采集节点的运行状态信息并按照CPU、内存、硬盘、网络带宽的利用率对其进行排序，将采集节点上异常的采集任务作为备份任务迁移至其他正常运行的工作采集节点；所述的采集子模块包括多个采集节点，各采集节点根据任务调度子模块发送的采集任务的不同采集模式，采用不同的方式实现采集任务的采集；所述的数据压缩和存储模块：用于将每个采集节点采集到的数据在内存缓存区进行缓存，并持久化到本地磁盘，将内存缓存区中缓存的数据进行压缩后存入数据库，当内存缓存区因模块失效导致数据丢失时，将丢失数据从本地磁盘读入内存缓存区；当数据经压缩成功存入数据库后，将内存缓存区中对应的数据删除以节省内存空间，并将本地磁盘中对应的数据删除以节省磁盘空间；当存在采集节点的某一主采集任务采集失败时，将失败主采集任务的备份采集任务的采集结果从该主采集任务的备份采集节点存入内存缓存区，当存在采集节点故障时，将故障采集节点所有主采集任务的备份采集节点上相应备份采集任务的采集结果存入内存缓存区；所述的监控报警模块包括：结果监控子模块、任务监控子模块、节点监控子模块、网络监控子模块和报警子模块，其中，所述的结果监控子模块：用于从任务管理子模块中获取各采集任务的采集周期，对各采集节点的采集结果信息和存储结果信息进行实时监控，将采集结果信息和存储结果信息发送至日志管理模块中，当存在采集节点上的采集任务采集失败时，将采集节点采集任务采集失败的信息发送至报警子模块、数据压缩和存储模块；当存在采集节点上的采集任务异常时，将该采集任务异常的信息发送至任务调度子模块；当采集节点上经压缩后的采集数据成功存入数据库时，将存储成功的信息发送至数据压缩和存储模块；当存在采集节点上采集任务存储失败时，将采集节点采集任务存储失败的信息发送至报警子模块、数据压缩和存储模块；将各采集节点上采集任务的实际采集时间与设置的采集周期进行对比，当存在采集节点上采集任务的实际采集时间大于设置的采集周期时，将该采集节点上采集任务实际采集时间不满足采集周期要求的信息发送至报警子模块、资源管理模块和任务调度子模块中；所述的任务监控子模块：用于对采集任务的数量、任务队列、任务分配、任务执行和任务等待情况进行监控，并在采集任务对应的现场控制站和无线设备故障时，暂停相应任务的执行；所述的节点监控子模块：用于接收各现场控制站、无线设备以及各采集节点的注册信息，并按照注册顺序对各采集节点进行编号，从资源管理模块中获取各采集节点的运行状态阈值信息和过载运行等待时间信息，实时获取各现场控制站的运行状态信息、无线设备的运行状态信息、采集节点的运行状态信息并对其运行状态进行实时监控，当现场控制站或无线设备故障时，将对应故障信息发送给任务监控子模块和报警子模块，当存在采集节点故障时，将采集节点故障信息发送至报警子模块、资源管理模块、任务调度子模块以及数据压缩和存储模块中；将各采集节点的实际运行状态与其运行状态阈值进行对比，判断采集节点是否过载，当存在采集节点过载且在过载运行等待时间之后仍然过载时，将该采集节点过载信息发送至报警子模块、资源管理模块和任务调度子模块中；所述的网络监控子模块：用于监控系统当前网络连接是否正常，若网络连接异常，将异常信息发送到报警子模块；所述的报警子模块：用于对系统异常进行实时报警，同时将报警信息发送至日志管理模块。