基于K划分的Storm平台线程分配方法

摘要

本发明公开了基于K划分的Storm平台线程分配方法，首先建立带权值的有向无环图，并在深入理解Storm平台调度方案、通信机制的基础上，将任务的有向无环图划分成多个子集，对应的将大流量通信的线程尽量分配在同一个进程中，从而利用高效的内存队列处理大流量数据，以尽量减少不同进程之间的网络流量，从而提高传输效率。

主权项

基于K划分的Storm平台线程分配方法，其特征在于，包括以下步骤，S1、在Storm并发模型中获取Spout组件和Bolt组件，以及组件间的并行度，确定Executor线程数、Worker子集数和边，得到带权值的有向无环图；S2、将具有n个节点的有向无环图G(V,E)划分成k个子集V₁、V₂……V_k，其中V表示图中顶点的集合，E表示图中边的集合，|V|＝n，每个子集至多含有n/k+1个节点，使得最终连接不同子集的边权值之和最小，同时各子集内部边的权值之和最大；S3、将V₁中对应的Executor线程分配给Worker1，将V₂中对应的Executor线程分配给Worker2，以此类推，将V_k中对应的Executor线程分配给Worker，完成任务分配。