发明名称 |
Hadoop异构集群中的数据分配策略 |
摘要 |
本发明涉及一种Hadoop异构集群中的数据分配策略,其特征在于,包括以下步骤:S01:测试并存储各节点处理不同规模数据的执行时间,并转换为静态性能参考指标;S02:监控并存储各节点的存储负载和各节点间的网络传输速度,并转换为动态性能参考指标;S03:根据预先设置的各性能因素的权重,利用计算模块计算出各节点应分配的数据块数目,并通过数据分配服务器进行数据块-节点的映射和实施分配传输。本发明通过对静、动态性能参考指标各性能因素的灵活配置,可以增强数据分配策略的适应性,保证数据分配策略的有效性,能够有效的提高数据局部性、减少作业响应时间和网络传输,增强系统的负载稳定性,优化了集群资源。 |
申请公布号 |
CN103218233A |
申请公布日期 |
2013.07.24 |
申请号 |
CN201310168386.2 |
申请日期 |
2013.05.09 |
申请人 |
福州大学 |
发明人 |
郭文忠;陈国龙;林常航 |
分类号 |
G06F9/44(2006.01)I;G06F9/50(2006.01)I |
主分类号 |
G06F9/44(2006.01)I |
代理机构 |
福州元创专利商标代理有限公司 35100 |
代理人 |
蔡学俊 |
主权项 |
一种Hadoop异构集群中的数据分配策略,其特征在于,包括以下步骤:S01:测试并存储各节点处理不同规模数据的执行时间,并转换为静态性能参考指标;S02:监控并存储各节点的存储负载和各节点间的网络传输速度,并转换为动态性能参考指标;S03:根据预先设置的各性能因素的权重,利用计算模块计算出各节点应分配的数据块数目,并通过数据分配服务器进行数据块‑节点的映射和实施分配传输。 |
地址 |
350108 福建省福州市闽侯县上街镇大学城学园路2号福州大学新区 |