一种增量式数据处理的方法和装置

摘要

本发明提供一种增量式数据处理的方法和装置，能够在保证数据完整及准确的前提下，提高业务数据的加工效率，降低存储空间，提高使用效率，进而极大地节省了集群资源。该方法用于对业务数据进行处理，每个业务具有预定的完成期限且每个业务的数据集包括一个或多个数据元素，每个数据元素设有创建日期，该方法包括：获得该业务的完成期限M；读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素，并按照预定的业务逻辑加工所述数据元素；当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时，则建立当前时间单位的增量数据分区并且把加工后的数据元素插入到该增量数据分区。

主权项

一种增量式数据处理的方法，用于对业务数据进行处理，每个业务具有预定的完成期限且每个业务的数据集包括一个或多个数据元素，每个数据元素设有创建日期，所述方法的特征在于，包括：获得该业务的完成期限M，M是正整数，表示完成该业务的单位时间数目；读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素，并按照预定的业务逻辑加工所述数据元素，其中，N为正数；当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时，则建立当前时间单位的增量数据分区并且把加工后的数据元素插入到该增量数据分区。