智能化局域网数据采集方法

摘要

本发明公开了智能化局域网数据采集方法，属于局域网数据采集领域。其步骤为：步骤一：环境准备，一台中心数据汇总单元，至少一台以上数据采集单元；步骤二：采集流程，中心数据汇总单元会按设定的时间间隔和顺序轮询所有数据采集单元，中心数据汇总单元第一次和数据采集单元建立连接时，会自动把采集脚本发送到数据采集单元并执行采集脚本，保证所有数据采集单元都正常运行着采集脚本：步骤三：动态轮询优化算法的采用。通过本发明使得程序部署简单快速,降低对计算机系统资源的占用,数据传输高效安全,实现中心数据汇总单元对数据采集单元的集中化管理。

主权项

1.智能化局域网数据采集方法，其步骤为：步骤一：环境准备一台中心数据汇总单元，至少一台以上数据采集单元，所述中心数据汇总单元运行数据收集程序与数据采集单元建立SSH连接并可以在数据采集单元上远程执行方法命令，利用XML文件存储各个数据采集单元的IP、机器名、数据采集路径，按照动态轮询优化算法从各个数据采集单元汇总数据，所述收集程序根据脚本模板文件和XML文件中的采集信息动态生成采集脚本，中心数据汇总单元通过收集程序获得各个数据采集单元的运行状况；所述数据采集单元，通过运行采集脚本对定义文件的更新数据进行采集并把更新数据发送到中心数据汇总单元，同时接受中心数据汇总单元发送过来的方法命令；所述步骤1中的方法命令为发送脚本、删除脚本、执行脚本、停止脚本和执行Shell命令；步骤二：采集流程环境准备好后，中心数据汇总单元会按设定的时间间隔和顺序轮询所有数据采集单元，中心数据汇总单元第一次和数据采集单元建立连接时，会自动把采集脚本发送到数据采集单元并执行采集脚本，保证所有数据采集单元都正常运行着采集脚本：(1)当中心数据汇总单元轮询到数据采集单元时，先发送一个确认文件到数据采集单元的“数据传送临时文件夹”中；(2)从中心数据汇总单元发送到数据采集单元的采集脚本一方面会通过定时比较定义文件中现在的行数与上一次记录的行数的差值来监控采集脚本中规定的采集路径下的定义文件是否有更新，有更新数据就把更新数据送到“数据传送临时文件夹”；另一方面会通过文件检索命令定时检测“数据传送临时文件夹”中是否有中心数据汇总单元发送来的确认文件，一旦检测到则进行下一步；(3)数据采集单元会判断“数据传送临时文件夹”中的更新数据是否达到了可以传送的量，超过就传送更新数据到中心数据汇总单元的“数据收集临时文件夹”中，传送完后自动删除，否则发送拒绝文件到中心数据汇总单元的“数据收集临时文件夹”中；(4)中心数据汇总单元的收集程序一方面会通过文件检索方法定时检测“数据收集临时文件夹”中的临时文件，若临时文件存在则把临时文件中的数据备份到历史数据文件中，然后自动删除临时文件；另一方面会通过文件检索方法定时检测“数据收集临时文件夹”中是否有数据采集单元发送来的拒绝文件，检测到则轮询下一台数据采集单元；步骤三：动态轮询优化算法的采用有m台数据采集单元（a）统计一次轮询遍历后各数据采集单元的传输量p_i（i=1，…m）；（b）对各数据采集单元的传输量p_i进行标准化，先计算出总的压缩份额5m和所有数据采集单元的总传输量将各个数据采集单元的传输量按照的比例进行压缩，得到各数据采集单元非整数化的压缩份额n′_i，再使用Q值算法将各数据采集单元非整数化的压缩份额n′_i整数化为n_i；（c）计算所有数据采集单元压缩份额n_i的最小公倍数N，并算出各数据采集单元的轮询次数（d）根据计算出的各数据采集单元的轮询次数k_i，利用均散算法来设计下一个轮询周期的轮询队列。（e）回到（1）统计上一次轮询遍历后各数据采集单元的传输量p_i。