一种数据处理的方法及装置

摘要

本申请公开了一种数据处理的方法及装置，用以解决现有技术中各分布式服务器的内存中存储的数据量不均匀，存在或浪费存储资源，或造成内存溢出的问题。该方法确定基础数据的总量除线程数量的商值，确定每个线程对应的基础数据的数据量，当存在对应的数据量减该商值的差值的绝对值大于第二预设阈值的线程时，将每个线程对应的基础数据的数据量调整至减该商值的差值的绝对值不大于第二预设阈值，再通过每个线程处理待处理数据。通过上述方法，可有效均衡各分布式服务器的内存中存储基础数据的数据量，避免了某些分布式服务器存储的数据量较小而浪费存储资源，以及某些分布式服务器存储的数据量较大而造成内存溢出的问题。

主权项

一种数据处理的方法，其特征在于，所述方法应用于包括有多个分布式服务器的分布式处理系统，每个分布式服务器上预置有若干个线程，在任意两个分布式服务器上预置的线程的数量的差值的绝对值不大于第一预设阈值，基础数据中携带数据标识，每个线程与至少一个数据标识对应，所述方法包括：确定基础数据的总量除预置的线程的数量的商值；针对每个线程，确定携带该线程对应的数据标识的基础数据的数据量；当存在确定的数据量减所述商值的差值的绝对值大于第二预设阈值的线程时，调整每个线程与数据标识的对应关系，使调整后携带每个线程对应的数据标识的基础数据的数据量减所述商值的差值的绝对值均不大于第二预设阈值；针对每个线程，通过该线程，对携带调整后该线程对应的数据标识的待处理数据进行处理。