大文件排序方法及系统

摘要

本发明公开了一种大文件排序方法，包括如下步骤：(a)压缩：将所述大文件包括的每一条原始数据记录均进行压缩处理生成对应的新数据记录，并将所有新数据记录组成一个新文件；(b)排序：将所述新文件所包括的新数据记录使用DFSORT工具进行排序；(c)解压：将排序后的每一条新数据记录进行解压处理，还原为所述原始数据记录。本发明还公开了一种大文件排序系统，用于对包括海量数据记录的大文件进行排序处理。本发明的有益效果在于：通过压缩，缩小了参与排序的数据记录以及由这些数据记录组成的文件的大小，降低了CPU及内存开销，提高了排序速度。

主权项

大文件排序方法，所述大文件包括海量数据记录，其特征在于，包括如下步骤：(a)压缩：将所述大文件包括的每一条原始数据记录均进行压缩处理生成对应的新数据记录，并将所有新数据记录组成一个新文件；(b)排序：将所述新文件所包括的新数据记录使用DFSORT工具进行排序；(c)解压：将排序后的每一条新数据记录进行解压处理，还原为所述原始数据记录。