数据处理方法及装置

摘要

本发明实施例提供数据处理方法和装置，通过本发明实施例，当发现当前接收的数据流中数据散列值超过预设的第一阈值时，将数据流中的部分或全部数据不做重删，直接进行存储，而避免数据流中的数据被分散存储到多个存储区域中，而会集中地存储到存储区域中，尤其是数据存储量大的场景下，从整体上有效提高重删率。

主权项

一种数据处理方法，其特征在于，包括：接收数据流，获取代表所述数据流中数据的特征值；根据每个所述特征值在设置的索引表查找与所述每个所述特征值对应的第一存储地址；所述索引表中存储有特征值与所述特征值所代表的数据所在存储地址之间的对应关系；根据设置的策略从所述第一存储地址中获取n个第二存储地址，n大于等于1；当所述第二存储地址的数量超过设置的第一阈值时，将接收到的所述数据流中的数据直接看做新数据存储到存储空间中。