一种处理数据的方法和装置

摘要

本发明提供一种处理数据的方法和装置，有助于避免在分布式数据处理系统中采用zookeeper进行任务调度时出现的数据被不同的节点重复处理的现象。该方法中，当前节点向zookeeper进行注册并触发对系统中的所有其他节点的监听；当前节点在从注册完成时起，于预设时长内监听到全部其他节点对新增节点事件做出确认的事件的情况下，确定由自身来处理的数据块；当前节点在从注册完成时起，经预设时长后仍未监听到至少一个其他节点对新增节点事件做出确认的事件的情况下，判断zookeeper中是否保存该至少一个其他节点对新增节点事件做出确认的信息，若是，则确定由自身来处理的数据块，否则重新向zookeeper进行注册。

主权项

一种处理数据的方法，应用于分布式数据处理系统中，其特征在于，该方法包括：当前节点向zookeeper服务器进行注册并触发对所述分布式数据处理系统中的所有其他节点的监听；当前节点在从所述注册完成时起，于预设时长内监听到全部所述其他节点对新增节点事件做出确认的事件的情况下，确定由自身来处理的数据块；当前节点在从所述注册完成时起，经预设时长后仍未监听到至少一个所述其他节点对所述新增节点事件做出确认的事件的情况下，判断zookeeper服务器中是否保存该至少一个所述其他节点对所述新增节点事件做出确认的信息，若是，则确定由自身来处理的数据块，否则重新向zookeeper服务器进行注册。