用于复制内容可寻址存储集群的异步分布式去重

摘要

本发明涉及用于复制内容可寻址存储集群的异步分布式去重。一种方法由分布式数据复制系统中的设备组中的设备执行。该方法包括将对象的索引存储在分布式数据复制系统中，所述索引在对象由分布式数据复制系统中的多个设备本地存储时被复制。该方法还包括进行对索引的至少一部分的扫描，以及基于对索引的扫描来识别对象中的至少一个的冗余复制品。该方法进一步包括对冗余复制品进行去重，以及对索引进行更新以反映冗余复制品的状态。

主权项

一种计算机实现的方法，包括：在分布式存储系统的多个设备中的第一设备处，其中所述第一设备包括一个或多个处理器以及存储用于由所述一个或多个处理器执行的程序的存储器：访问存储在所述分布式存储系统中的对象的索引，其中所述索引被存储在所述第一设备处；扫描所述索引的第一部分；响应于所述扫描，识别所述对象中的一个对象的冗余复制品；将新的记录写入对应于所述冗余复制品的所述索引的所述第一部分，其中所述新的记录包括去重指定符；以及在所述写入操作之后，将所述索引的所述第一部分复制到所述多个设备以指定所述冗余复制品用于去重。