数据并行压缩方法

摘要

一种数据并行压缩方法，该方法包括读取步骤，通过并行I/O从存储装置中读取待压缩数据；切分步骤，将待压缩数据均匀切分成N个数据块，并将所述N个数据块保存至每个数据块所对应的输入缓冲区；压缩编码步骤，每个进程控制对应的输入缓冲区中的数据块，并利用多线程的方法对该数据块进行并行压缩编码，将压缩编码后的数据存入输出缓冲区；写入步骤，合并输出缓冲区中各个进程并行压缩编码后的数据，并将所述合并后的数据写入输出文件中。该方法在取得理想的压缩比的同时，大大降低压缩过程对时间的开销，能够很好的应用于云存储或数据库系统中，解决压缩实时性不高的问题，提高了压缩的整体性能。

主权项

一种数据并行压缩方法，其特征在于，该方法包括：读取步骤，通过并行I/O从存储装置中读取待压缩数据；切分步骤，将待压缩数据均匀切分成N个数据块，并将所述N个数据块保存至每个数据块所对应的输入缓冲区；压缩编码步骤，每个进程控制对应的输入缓冲区中的数据块，并利用多线程的方法对该数据块进行并行压缩编码，将压缩编码后的数据存入输出缓冲区；写入步骤，合并输出缓冲区中各个进程并行压缩编码后的数据，将所述合并后的数据写入输出文件中。