一种数据采集方法以及ETL组件

摘要

本发明实施例公开了一种数据采集方法以及ETL组件，所述方法包括：数据采集周期到达时，针对业务系统中的全量数据表，进行一次跃进式的增量数据采集：确定所述全量数据表已采集的次数；根据所述全量数据表中的最小时间戳、预设的第一采集时长，以及确定的已采集的次数，计算起始时间戳；根据所述起始时间戳，以及所述第一采集时长，计算终止时间戳；采集所述全量数据表中所述起始时间戳与终止时间戳所标示的时间范围内的数据。应用本发明，针对全量数据表进行数据采集时，可以减小对ETL组件所在的数据采集系统的性能影响，稳定数据采集效率。

主权项

一种数据采集方法，其特征在于，包括：数据采集周期到达时，针对业务系统中的全量数据表，进行一次跃进式的增量数据采集：确定所述全量数据表已采集的次数；根据所述全量数据表中的最小时间戳、预设的第一采集时长，以及确定的已采集的次数，计算起始时间戳；根据所述起始时间戳，以及所述第一采集时长，计算终止时间戳；采集所述全量数据表中所述起始时间戳与终止时间戳所标示的时间范围内的数据。