一种海量数据处理方法、装置及系统

摘要

本申请公开了一种海量数据处理方法、装置及系统，应用于数据副本集群中存储有海量数据的数据节点，所述数据节点在预设时间间隔点获取本数据节点中不同于与其相连的另一数据节点的数据，并将获取的数据写入至另一数据节点中，触发另一数据节点更新其数据版本；所述方法包括：当前数据节点接收待更新数据，并将待更新数据写入至本数据节点，待更新数据在数据副本集群接收到的更新请求信息中提取；并更新当前数据节点的数据版本；若当前系统时间到达预设时间间隔点，当前数据节点获取本数据节点中不同于另一数据节点的数据，并将获取的数据写入至另一数据节点中，触发另一数据节点更新其数据版本。通过本申请实施例，提高对海量数据的处理效率。

主权项

一种海量数据处理方法，其特征在于，应用于预设的分布式数据副本集群中存储有海量数据的数据节点；其中，所述数据副本集群包括至少一个所述数据节点，所述每一数据节点至少与一个不同于本数据节点的另一数据节点相连，且所述数据节点在其预设时间间隔点获取本数据节点中不同于所述另一数据节点的数据，并将所述获取的数据写入至所述另一数据节点中，触发所述另一数据节点更新其数据版本；所述方法包括：依据预设规则在所述数据副本集群中被选取的当前数据节点接收待更新数据，并将所述待更新数据写入至本数据节点；其中，所述待更新数据在所述数据副本集群接收到的更新请求信息中提取；并更新所述当前数据节点的数据版本；若当前系统时间到达所述预设时间间隔点，所述当前数据节点获取本数据节点中不同于所述另一数据节点的数据，并将所述获取的数据写入至所述另一数据节点中，触发所述另一数据节点更新其数据版本。