一种数据处理方法、装置及系统

摘要

本申请公开了一种数据处理方法、装置及系统，预先建立当前索引列表，所述当前索引列表中包括至少一个索引值，每个所述索引值分别与一个已存储的文件块相对应，所述方法包括：获取待存储的目标文件，所述目标文件包括至少一个文件块；分别获取每个所述文件块的目标索引值；对每个所述目标索引值，在所述当前索引列表中查询与所述目标索引值相一致的索引值；当在所述当前索引列表中查询到一致的索引值时，将所述目标索引值所对应的文件块丢弃，否则，将所述目标索引值写入至所述当前索引列表中并存储所述目标索引值对应的文件块。本申请实施例应用于分布式文件系统中时可以有效的对待存储的数据进行消冗处理，有效提高空间的存储利用率，节省资源。

主权项

一种数据处理方法，其特征在于，预先建立当前索引列表，所述当前索引列表中包括至少一个索引值，每个所述索引值分别与一个已存储的文件块相对应，所述方法包括：获取待存储的目标文件，所述目标文件包括至少一个文件块；分别获取每个所述文件块的目标索引值；对每个所述目标索引值，在所述当前索引列表中查询与所述目标索引值相一致的索引值；当在所述当前索引列表中查询到一致的索引值时，将所述目标索引值所对应的文件块丢弃，否则，将所述目标索引值写入至所述当前索引列表中并存储所述目标索引值对应的文件块。