用于数据去重复的可扩展流水线

摘要

本发明描述了用于数据去重复的可扩展流水线。本公开涉及由模块化数据去重复流水线的各阶段/模块执行的数据去重复(优化)。在每个阶段，流水线允许替换、选择或扩展模块，例如，不同的算法可被用于基于正被处理的数据的类型来进行分块化或压缩。此流水线便于安全的数据处理、批处理、和并行处理。流水线是可基于反馈调整的，例如，通过选择模块来提升去重复质量、性能和/或吞吐量。还描述了例如基于文件和/或文件数据集的属性和/或统计属性和/或内部或外部反馈来对文件进行选择、过滤、排名、排序和/或编组，以进行去重复。

主权项

在计算环境中，一种系统包括数据去重复流水线(102)，所述数据去重复流水线包括：分块化阶段(110)，其被配置成将文件的数据分割成块，其中所述分块化阶段包括各自对应于分块化算法的一个或多个模块，去重复检测阶段(112)，其被配置成对每个块确定该块是否已被存储在去重复系统中，以及提交阶段(116)，其将没有被所述去重复检测阶段确定为存储在所述去重复系统中的块提交到所述去重复系统，并且提交已被确定为被存储在所述去重复系统中的块的引用数据。