数据采集方法、装置和系统

摘要

本发明公开一种数据采集方法、装置和系统。其中在数据采集方法中，当接收到数据采集请求时，进行采集请求初始化处理。在满足采集条件时，根据所述CPU开销中最大的一个CPU开销计算最大并发通道数，根据所述适配比，在所述最大并发通道数中选择数据采集通道的数目L，根据评估的数据量规模，将需要采集的数据量按预定标准分配给L个数据采集通道，启动所述L个数据采集通道进行数据采集。从而通过实时自动调节数据采集通道以保证数据采集对数据库的负载影响在规定范围内，由此可在确保负载受控的情况下，提高数据采集效率和自适用性。

主权项

一种数据采集方法，其特征在于，包括：当接收到数据采集请求时，进行采集请求初始化处理，其中采集请求初始化处理包括评估待采集数据的数据量规模，分别记录采集样本数据阶段、对样本数据进行压缩阶段和将压缩后的样本数据发送给目标服务器阶段的时间开销和CPU开销，根据各时间开销的比值确定数据采集通道、数据压缩通道和数据传输通道的适配比；判断是否满足采集条件；当满足采集条件时，根据所述CPU开销中最大的一个CPU开销计算最大并发通道数；根据所述适配比，在所述最大并发通道数中选择数据采集通道的数目L；根据评估的数据量规模，将需要采集的数据量按预定标准分配给L个数据采集通道；启动所述L个数据采集通道进行数据采集。