一种分布式计算机集群下的数据采集系统

摘要

一种分布式计算机集群下的数据采集系统，包含：消息转发模块、存储模块和多个信息收集模块；多个消息收集模块分别设置于多个业务系统的应用服务器上，用于检测应用服务器的数据状态，当数据状态发生变化时，采集应用服务器上的增量数据；消息转发模块与多个消息收集模块相连，用于收集多个消息收集模块获得的增量数据，将多个增量数据分别补充处理后合并为更新数据；存储模块与消息转发模块相连，用于将更新数据与存储的历史数据比对合并后根据数据类型存储。通过并发提升了数据传输的效率；通过内存队列为大集群的数据传输提供了顺序性、完整性和可靠性；以“只读+监控”的方式访问数据流，极大的降低了本系统与各业务系统的耦合度。

主权项

一种分布式计算机集群下的数据采集系统，其特征在于，所述系统包含：消息转发模块、存储模块和复数个信息收集模块；所述复数个消息收集模块分别设置于复数个业务系统的应用服务器上，用于检测所述应用服务器的数据状态，当所述数据状态发生变化时，采集所述应用服务器上的增量数据；所述消息转发模块与所述复数个消息收集模块相连，用于收集所述复数个消息收集模块获得的增量数据，将复数个增量数据分别补充处理后合并为更新数据；所述存储模块与所述消息转发模块相连，用于将所述更新数据与存储的历史数据比对合并后根据数据类型存储。