一种基于机器学的Hadoop参数自动调优方法及系统

摘要

本发明属于大数据处理技术领域，涉及一种基于机器学的Hadoop参数的自动调优方法及系统。本发明根据不同应用程序的资源消耗特征聚类分组，并针对不同组应用建立不同的性能模型，自动得到对不同类应用影响较大的不同参数，并给出定量参数建议值。系统包括离线模块和在线模块，离线模块包括Hadoop数据收集器、聚类器和性能模型构建子模块；在线模块包括作业管理器、优化器、资源消耗特征匹配器和作业探查器。本发明有效解决了现有的基于经验规律的方法对用户经验的高依赖问题和定性参数建议的限制问题；同时本发明将参数优化系统和Hadoop系统分离，降低系统耦合度，减少人工开销，避免人为误判，并且便于系统扩展与维护。

主权项

一种基于机器学习的Hadoop参数自动调优方法，包括离线过程和在线过程，其中，离线过程包括下述步骤：S1.收集当前集群中运行的历史作业的执行时间、输入数据集规模、Mapreduce的参数配置和各类资源消耗的时间序列信息；S2.将收集的历史作业的各类资源消耗的时间序列信息进行归一化预处理，然后构建资源消耗特征向量；S3.计算不同作业的资源消耗特征向量之间距离，用于衡量不同作业的相似度，并将作业聚类分组，使得资源消耗特征相似的作业分为一组；S4.根据聚类结果，利用每组历史作业的配置参数、输入数据规模和执行时间，分组构建作业执行时间训练集；S5.针对每组作业，分别采用逐步回归方法选择最佳预测因子，即选择与作业执行时间强相关的因子；S6.针对每组作业，分别利用逐步回归分析的结果进行SVM回归预测分析，选择合适核函数，构建SVM性能模型；所述在线过程包括下述步骤：S7.针对新提交的作业，采用默认参数配置和输入数据集的一部分，在聚类集群中运行该作业，收集各类资源消耗的时间序列信息，并按照步骤S2中方法构建资源消耗特征向量；S8.将新提交作业的资源消耗特征向量与步骤S3聚类结果中的每类聚类中心进行距离匹配，然后利用匹配的作业类对应的性能模型，预测不同参数配置和输入数据集规模下的执行时间，作为参数寻优的搜索空间；S9.利用搜索算法搜索最优参数配置,并输出；S10.利用步骤S9得到的最优参数配置方案，指定输入数据集，在当前集群中运行新提交作业。