大数据处理系统的配置参数确定方法和装置

摘要

本发明实施例提供一种大数据处理系统的配置参数确定方法和装置，其中，该方法包括：通过改变配置参数集合中各配置参数的数值，获取大数据处理系统的N个作业对应的N个作业执行时间，每个作业执行时间包括每个作业中所有任务包括的所有执行阶段的执行时间加和，根据每个作业中各个任务包括的各执行阶段的执行时间以及各执行阶段的并行执行时间，确定该N个作业对应的N个实际执行时间，进而从N个实际执行时间中确定出最优执行时间，并确定出最优执行时间对应的各配置参数数值组成的配置参数集合。本发明的技术方案，能够有效、快速地优化大数据处理系统的参数集合，提高了大数据处理系统中的作业运行效率。

主权项

一种大数据处理系统的配置参数确定方法，其特征在于，包括：通过改变配置参数集合中各配置参数的数值，获取大数据处理系统的N个作业对应的N个作业执行时间，其中，每个所述作业执行时间包括每个作业中所有任务包括的所有执行阶段的执行时间加和，N为大于1的正整数；根据每个作业中各个任务包括的各执行阶段的执行时间以及各执行阶段的并行执行时间，确定所述大数据处理系统的所述N个作业对应的N个实际执行时间；从所述N个实际执行时间中确定出最优执行时间，并确定出所述最优执行时间对应的各配置参数数值组成的所述配置参数集合。