一种Spark平台性能自动优化方法

摘要

本发明公开了一种Spark平台性能自动优化方法。本方法为：1)根据Spark平台的执行机制创建一Spark应用性能模型；2)针对一设定的Spark应用，选取该Spark应用的部分数据负载在该Spark平台上运行，采集Spark应用运行时的性能数据；3)将采集的性能数据输入Spark应用性能模型，得到运行该Spark应用时Spark应用性能模型中各参数的取值；4)将步骤3)获得的性能模型各参数值赋给Spark应用性能模型，计算Spark平台在不同配置参数组合时的性能(应用总执行时间)，然后输出Spark平台性能最优时的配置参数组合。本发明具有低门槛、易于扩展、成本低和效率高等优点。

主权项

一种Spark平台性能自动优化方法，其步骤为：1)根据Spark平台的执行机制创建一Spark应用性能模型；2)针对一设定的Spark应用，选取该Spark应用的部分数据负载在该Spark平台上运行，采集Spark应用运行时的性能数据；3)将采集的性能数据输入Spark应用性能模型，得到运行该Spark应用时Spark应用性能模型中各参数的取值；4)将步骤3)获得的性能模型各参数值赋给Spark应用性能模型，计算Spark平台在不同配置参数组合时的性能，然后输出Spark平台性能最优时的配置参数组合。