一种数据布局优化方法及系统

摘要

本发明涉及一种数据布局优化方法，具体包括以下步骤：步骤1：接收业务系统输入的连续数据流；步骤2：将数据流划分为连续无交叉的多个数据块；步骤3：判断待处理的数据块是否达到缓存上限，如果是，进行下一步；否则，跳转至步骤1；步骤4：计算得到缓存中的所有数据块的指纹；步骤5：将缓存中数据块的指纹与指纹列表中的指纹进行匹配，将匹配的数据块标记为重复数据块；将不指纹匹配的指纹存入指纹列表中；步骤6：更新数据块信息表中的数据块的物理位置信息；步骤7：根据数据块信息表中的各个数据块的物理位置信息存储对应的数据块。本发明提高了数据的顺序性，降低了数据布局的离散化，提高了重复数据删除系统的顺序读写性能。

主权项

一种数据布局优化方法，其特征在于，具体包括以下步骤：步骤1：接收业务系统输入的连续数据流；步骤2：将数据流划分为连续无交叉的多个数据块，并将数据块保存到缓存中；步骤3：判断缓存中的待处理的数据块是否达到缓存上限，如果是，进行下一步；否则，跳转至步骤1；步骤4：计算缓存中的所有数据块的哈希值，并将每个哈希值作为对应数据块的指纹；步骤5：将缓存中数据块的指纹与指纹列表中的指纹进行匹配，将与指纹列表中的指纹相匹配的指纹所对应的数据块标记为重复数据块；将不与指纹列表中的指纹匹配的指纹存入指纹列表中，所述不匹配的指纹对应的数据块集合在一起构成数据块信息表，得到更新后的指纹列表和数据块信息表；步骤6：根据指纹列表中指纹对应的物理位置信息更新数据块信息表中的数据块的物理位置信息；步骤7：根据数据块信息表中的各个数据块的物理位置信息存储对应的数据块。