一种海量数据多线程并行处理中的负载均衡方法

摘要

本发明公开了一种海量数据多线程并行处理中的负载均衡方法，服务端利用多个并行的数据处理线程对接收到的数据进行处理，对于每一个新接收到的数据包，服务端按照以下方法为其分配数据处理线程：判断是否存在当前待处理数据包个数C为0或者已处理数据包个数n为0的数据处理线程，如是，则将新收到的数据包分配给其中任意一个数据处理线程；如否，则将新收到的数据包分配给相对空闲率最高的数据处理线程。本发明根据相对空闲率对每个数据处理线程进行合理数据分配，能够显著提高系统对海量数据的并行处理、密集计算的能力，其算法实现简单，占用资源极少。

主权项

1.一种海量数据多线程并行处理中的负载均衡方法，服务端利用多个并行的数据处理线程对接收到的数据进行处理，其特征在于：对于每一个新接收到的数据包，服务端按照以下方法为其分配数据处理线程：判断是否存在当前待处理数据包个数C为0或者已处理数据包个数n为0的数据处理线程，如是，则将新收到的数据包分配给其中任意一个数据处理线程；如否，则将新收到的数据包分配给相对空闲率最高的数据处理线程，所述数据处理线程的相对空闲率按照以下公式计算：式中，为相对空闲率；为该数据处理线程当前待处理数据包个数；为该数据处理线程在处理n个数据包后的数据处理效率，其表达式为如下：其中，n为已处理数据包个数，为该数据处理线程处理第n个数据包所耗费时间。