基于流水线架构的海量文件指导型预取并行处理加速方法

摘要

本发明公开了一种基于流水线架构的海量文件指导型预取并行处理加速方法，该加速方法包括应用程序依据海量文件的预取信息，使用进程从外部存储器提取预取文件到内存缓冲区的步骤；进程对预取文件进行分阶段计算的步骤；进程对并行处理结果进行输出的步骤。本发明的加速方法基于流水线架构，采用指导型预取对海量文件进行提前处理，并且将海量文件的计算过程分为多个阶段，使其在多个阶段并行进行，提高了系统的执行效率。在数据预取阶段，本发明采用了指导型预取，将海量文件的预取行为置于应用程序的控制之下，使其更准确、更有预见性地进行预取，从而提高了海量文件预取和处理的效率。

主权项

一种基于流水线架构的海量文件指导型预取并行处理加速方法，所述海量文件指导型预取并行处理加速方法的步骤有：第一步骤：预取阶段，应用程序依据海量文件的预取信息，使用进程从外部存储系统提取预取文件到内存缓冲区的步骤；第二步骤：处理阶段，进程对预取文件进行分阶段计算的步骤；第三步骤：结果输出阶段，进程对并行处理结果进行输出的步骤；其特征在于：上述三个步骤均是对海量文件的进程分为多个阶段进行并行处理；在第一步骤的预取阶段中，采用指导型预取；在第二步骤的处理阶段中，把海量文件的处理分成多个子处理阶段，所述处理阶段由子阶段1、子阶段2和子阶段3三个子处理阶段组成；每个子处理阶段将各自的处理结果交由下一个子处理阶段进行处理；每个子阶段以流水线的形式并行处理；在海量文件的并行处理中，以并行总时间为横坐标，纵坐标为流水段建立平面坐标系；且海量文件指导型预取并行处理的加速比不小于1，T_并总表示并行总时间，T_串总表示串行总时间；对预取文件进行处理时，根据预取信息对预取文件进行不同的阶段使用不同的进程的处理为：第一个预取文件mf₁顺次经预取阶段第一子计算阶段第二子计算阶段……、最后子计算阶段输出阶段处理第一个预取文件mf₁的时间记为第二个预取文件mf₂顺次经预取阶段第一子计算阶段第二子计算阶段……、最后子计算阶段输出阶段处理第二个预取文件mf₂的时间记为第n个预取文件mf_n顺次经预取阶段第一子计算阶段第二子计算阶段……、最后子计算阶段输出阶段处理第n个预取文件mf_n的时间记为在并行处理时，对文件的并行总时间记为T_并总，且