简化并行计算系统中的传输的系统与方法

摘要

提供一种用于简化分布式并行计算系统中的传输的方法，所述分布式并行计算系统包括至少一个产生中间结果的并行计算单元，所述方法包括：识别输入到所述并行计算单元的数据中的至少一个项目；根据简化编码算法，建立所述至少一个项目与其索引之间的对应关系，所述索引的平均大小小于所述至少一个项目的平均大小；根据所述对应关系，将所述至少一个项目替换为其对应的索引；基于所述索引由所述并行计算单元产生简化的中间结果；以及传输所述简化的中间结果。本发明还提供了与上述方法对应的系统。通过这些系统和方法，并行计算系统中的中间结果得到简化，传输这些中间结果的IO消耗得到显著降低。

主权项

一种用于简化分布式并行计算系统中的传输的方法，所述分布式并行计算系统包括至少一个产生中间结果的并行计算单元，所述方法包括：识别输入到所述并行计算单元的数据中的至少一个项目；根据简化编码算法，建立所述至少一个项目与其索引之间的对应关系，所述索引的平均大小小于所述至少一个项目的平均大小；根据所述对应关系，将所述至少一个项目替换为其对应的索引；基于所述索引由所述并行计算单元产生简化的中间结果；以及传输所述简化的中间结果。