集群系统中数据处理方法及装置

摘要

本发明实施例对接收的数据流进行重复数据查询的时候，会根据代表数据流的第一特征值，确定每个第一特征值在所述集群系统中对应的第一物理节点，然后将代表数据流的第一特征值发送到确定的物理节点上进行重复数据查询，重复数据的查询流程不会因为集群系统中节点数的增加而改变，因此不会因为集群系统中节点数的增加而使每个节点的计算量也随之增加。

主权项

一种集群系统中数据处理方法，其特征在于，包括：将当前物理节点接收的数据流进行划分得到m个数据块，获取每个数据块的指纹，按照第一算法获取代表所述数据流的n个第一特征值；其中，所述m为大于等于1的整数，n为大于等于1且小于等于m的整数；根据第二算法确定所述n个第一特征值中的每个第一特征值在所述集群系统中对应的第一物理节点；将所述每个第一特征值发送到对应的所述第一物理节点进行查询；接收来自所述n个第一特征值对应的第一物理节点的至少一条响应消息，从所述响应消息中获取第一存储地址；将所述第一存储地址指向的存储区域中存储的数据块指纹与所述数据流划分得到的数据块的指纹进行比较，查询重复的数据块；将获取的不重复的数据块作为新数据块，获取代表所述新数据块的至少一个第二特征值；按照所述第二算法确定所述第二特征值中每个第二特征值对应的第二物理节点；将所述每个第二特征值和所述每个第二特征值所代表的数据块的存储地址之间的对应关系存储到对应的第二物理节点。