一种基于哈希环的分布式数据过滤方法

摘要

本发明涉及数据过滤技术领域，特别是一种基于哈希环的分布式数据过滤方法，包括以下步骤，步骤S101：客户端接收分布式去重集群的信息；步骤S102：客户端接口数据情况请求；步骤S103：节点接收请求；步骤S104：数据过滤块定位，根据RPC发送的分区请求，hash取余后，定位到数据的数据过滤块；步骤S105：数据返回，对应的数据块，根据过滤器键，执行数据存在判断，返回对应状态，返回数据。采用上述结构后，本发明实现多租户功能，客户端可以根据业务需求，任意添加制定的类型的过滤器；实现过滤器的持久备份恢复，避免数据丢失；由于整个集群基于一致哈希环构建，过滤集群实现线性扩展；对于同一个过滤器，会构建多个子过滤器，降低误判率。

主权项

一种基于哈希环的分布式数据过滤方法，其特征在于，包括以下步骤，步骤S101：客户端接收分布式去重集群的信息；包括节点的状态和节点的Token，返回数据；步骤S102：客户端接口数据情况请求，根据一致哈希环Range分布，利用Murmur3hash数据过滤键，得到一个哈希环位置值X1，通过分布式过滤集群的range分布，计算X1所属的Range，选择对应过滤节点，利用RPC向远端节点发送请求；步骤S103：节点接收请求，根据RPC发送的过滤器要求，定位到相应的过滤器；步骤S104：数据过滤块定位，根据RPC发送的分区请求，hash取余后，定位到数据的数据过滤块；步骤S105：数据返回，对应的数据块，根据过滤器键，执行数据存在判断，返回对应状态，返回数据。