一种并行计算系统中的磁盘缓存方法及装置

摘要

本发明提供了一种并行计算系统中的磁盘缓存方法及装置。其中所述方法包括：预先分配记录数据和消息数据在所述处理数据内存区中各自所占的比例；在数据加载过程中若记录数据在处理数据内存区中的容量将要超过预先分配的比例时，则以Hash桶为单位将部分记录数据缓存到磁盘空间；在计算任务对记录数据的遍历访问过程中，若将要求访问的Hash桶位于磁盘空间，并且处理数据内存区中剩余的记录数据空间不足以载入所述将要求访问的Hash桶，则将处理数据内存区中已访问过的Hash桶逐个缓存到磁盘空间，直至释放的空间能够载入所述将要求访问的Hash桶。本发明能在基于BSP模型的并行迭代计算系统中实现数据向磁盘的自动化缓存。

主权项

一种基于整体同步并行BSP计算模型的并行计算系统中的磁盘缓存方法，应用于将计算任务的处理数据内存区中的数据缓存到磁盘空间，其特征在于，预先分配记录数据和消息数据在所述处理数据内存区中各自所占的比例；该方法包括：在计算任务的数据加载阶段，根据各个记录数据的记录ID，为待处理的记录数据建立Hash索引表，将载入的记录数据存放到处理数据内存区中对应的Hash桶中，得到记录数据的Hash表RHT，并在数据加载过程中若记录数据在处理数据内存区中的容量将要超过预先分配的比例时，则以Hash桶为单位将部分记录数据缓存到磁盘空间；在计算任务对记录数据的遍历访问过程中，按照预设顺序遍历访问RHT中的每个Hash桶，其中，若将要求访问的Hash桶位于磁盘空间，并且处理数据内存区中剩余的记录数据空间不足以载入所述将要求访问的Hash桶，则按照长度由大到小的顺序，将处理数据内存区中已访问过的Hash桶逐个缓存到磁盘空间，直至释放的空间能够载入所述将要求访问的Hash桶。