一种分布式计算框架参数优化方法、装置及系统

摘要

本发明适用于IT技术领域，提供了一种分布式计算框架参数优化方法、装置及系统。方法包括：获取当前提交的并行计算框架作业；在分布式计算框架历史运行数据库中，检索与分布式计算框架作业同类的历史分布式计算框架作业，分布式计算框架历史运行数据库包括历史分布式计算框架作业的执行信息及配置参数；在同类的分布式计算框架作业中，检索与分布式计算框架作业相似的历史分布式计算框架作业；根据相似的历史分布式计算框架作业的配置参数，对分布式计算框架作业的配置参数进行优化配置。本发明能够实现Mapreduce作业参数配置合理化、自动化以及自学。

主权项

一种分布式计算框架参数优化的方法，其特征在于，包括：获取当前提交的分布式计算框架作业；在分布式计算框架历史作业运行数据库中，检索与所述分布式计算框架作业同类的历史分布式计算框架作业，所述分布式计算框架历史作业运行数据库包括历史分布式计算框架作业的执行信息及配置参数；在同类的分布式计算框架作业中，检索与所述分布式计算框架作业相似的历史分布式计算框架作业；根据相似的历史分布式计算框架作业的配置参数，对所述分布式计算框架作业的配置参数进行优化配置。