基于rpc实现的ES全局数据消重方法

摘要

一种基于rpc实现的ES全局数据消重方法，消重步骤如下：第一步：用户向客户端发起请求；第二步：新增消重节点，加入已有ES集群，消重节点与集群间用rpc进行通信；第三步：添加ES查询过滤器，在过滤器中调用lucene API进行数据查询，对消重字段值取crc操作，收集各分片下数据结果集；第四步：以请求session为维度，对需要消重数据进行哈希路由，均衡的发往消重服务器节点，并行高效的进行数据消重。通过开发ES的插件，改变ES数据查询的流程，增加全局消重步骤，实现按指定字段进行数据消重。

主权项

一种基于rpc实现的ES全局数据消重方法，其特征在于：消重步骤如下：第一步：用户向客户端发起请求；第二步：新增消重节点，加入已有ES集群，消重节点与集群间用rpc进行通信；第三步：添加ES查询过滤器，在过滤器中调用Iucene API进行数据查询，对消重字段值取crc操作，收集各分片下数据结果集；第四步：以请求session为维度，对需要消重数据进行哈希路由，均衡的发往消重服务器节点，并行高效的进行数据消重。