一种数据记录处理方法

摘要

一种数据记录处理方法，将记录按数据结构划分为归并段；以过滤域值为条件过滤每个归并段中的记录，对过滤后的归并段进行排序，形成有序子归并段；将每个有序子归并段中最小或最大记录存入预先设置的全局缓冲区；对全局缓冲区中的记录进行排序；取出全局缓冲区中的最小记录或最大记录作为提取返回记录；并记下该返回记录所属的有序子归并段；在返回记录所属的有序子归并段中提取该返回记录的下一条记录作为新记录，然后，插入全局缓冲区中；若返回记录所属的有序子归并段中已无记录可取，则减少全局缓冲区中一个记录的存储空间；循环执行所有记录都提取返回为止。本发明解决了数据处理过程中减少系统内存资源的占用问题，优化处理大型数据量的性能。

主权项

1.一种数据记录处理方法，其特征在于，该方法包括：A.将记录按数据结构划分为归并段；B.以过滤域值为条件过滤每个归并段中的记录，形成过滤后的归并段，然后以指定域值为条件对过滤后的归并段进行排序，形成有序子归并段；C.设置全局缓冲区，且所述全局缓存区中记录存储的数目与有序子归并段的数目相同；将每个有序子归并段中的指定域值最小记录/最大记录存入全局缓冲区；D.以指定域值为条件对全局缓冲区中的记录进行排序；E.取出全局缓冲区中当前指定域值最小记录/最大记录，释放所述全局缓存区中该记录的存储空间；并记下所取出记录归属的有序子归并段；F.在所取出记录归属的有序子归并段中提取该记录的下一条记录作为新记录，然后，将新记录以指定域值为条件按序插入全局缓冲区中；若所取出记录归属的有序子归并段中已无记录可取，则减少全局缓冲区中一个记录的存储空间；G.循环执行步骤E、F，直至全局缓冲区中所有记录都提取完为止。