一种数据处理方法和装置

摘要

本发明公开了一种数据处理方法和装置，该方法应用于分布式存储系统，该分布式存储系统包括核心服务器组和至少一个外围服务器组，其中核心服务器组和外围服务器组中均包括用于存储数据和处理数据的多个数据节点，当核心服务器组中存在数据处理量较大的数据节点时，从核心服务器组需要处理的处理请求中，确定至少一个待迁移处理请求，并将待迁移处理请求迁移至外围服务器组相应的数据节点中，避免了某些数据节点的数据处理量过大而影响系统的正常数据访问，同时能够最大限度的减少了系统能耗，实现了节能。

主权项

一种数据处理方法，应用于分布式存储系统中，其特征在于，所述分布式存储系统中包括核心服务器组和至少一个外围服务器组，所述核心服务器组和所述外围服务器组均包括多个数据节点，核心服务器组中与所述外围服务器组中不包括同一个数据节点，其中，所述核心服务器组的数据节点中存储有至少一个业务的多个数据块，且核心服务器组中不同的数据节点内存储有不同的数据块；所述外围服务器组的数据节点中存储有所述业务的多个数据块副本，且所述外围服务器组中不同的数据节点存储有不同的数据块副本，所述数据块副本是对所述数据块进行复制得到的，所述方法包括：依据预置的均衡分布规则，并结合待存储业务的第一数据块的数量、所述核心服务器组中数据节点的数量以及所述核心服务器组中各个数据节点内当前已存储的数据块的数量，将所述待存储业务的多个第一数据块分别存储至所述核心服务器组的数据节点中，其中，所述预置的均衡分布规则包括：所述核心服务器组中，任意两个所述数据节点中存储所述第一数据块的数据量之差不大于一，且任意两个数据节点中存储的数据块的总数量之差不大于一；依据当前针对业务的多个处理请求，判断核心服务器组中，是否存在需要处理数据的数据处理量达到第一预设阈值的第一目标数据节点；当存在所述第一目标数据节点时，获取所述处理请求当前的处理状态信息以及当前处理所述处理请求所需的第一数据处理量；依据所述处理请求的第一数据处理量，从所述多个处理请求中确定出至少一个待迁移处理请求；根据待迁移处理请求的处理状态信息，将所述待迁移处理请求迁移至外围服务器组的第二目标数据节点中，其中，所述第二目标数据节点为外围服务器中，存储有所述待迁移处理请求所请求处理的业务的数据块副本的数据节点；其中，通过如下方式将所述待存储业务的多个第一数据块副本分别存储至所述外围服务器集合中的所述多个数据节点内：确定所述外围服务器组中所包含的数据节点的第二总数量，各个数据节点当前已经存储的数据块副本的第二副本存储量，以及数据节点针对同一业务能够存储的数据块副本数量的最大存储量；根据所述第二总数量、所述第二副本存储量、所述最大存储量以及所述待存储业务的第一数据块副本的第二副本总量，确定第二平均数量，其中，所述第二平均数量为外围服务器组中每个数据节点需要存储的数据块副本所属的业务的平均数量；根据所述最大存储量以及所述第二副本总量，计算存储所述多个第一数据块副本所需要的数据节点的第二需求数量；根据所述外围服务器组中各个数据节点内已经存储的数据块副本所属的业务，从所述外围服务器组中，确定至少一个第二数据节点，其中，所述第二数据节点为所述外围服务器组中，存储的数据块副本所属的业务的数量未达到所述第二平均数量的数据节点；按照所存储的数据块副本所属的业务的总数量从高到低，对所述至少一个第二数据节点进行排序，并确定排序靠前的第二需求数量个第二数据节点；将所述待存储业务的第一数据块副本分别存储至所述排序靠前的第二需求数量个第二数据节点中，且每个第二数据节点中均存储与所述最大存储量相同个数的第一数据块副本。