一种分布式迭代计算系统的任务参数优化方法

摘要

本发明涉及一种分布式迭代计算系统中的任务参数优化方法，属于分布式数据处理技术领域。本方法首先采集分布式迭代计算系统中历史任务的运行数据，构建历史数据库；进行任务参数优化时，根据约束条件对历史数据库中显著不相关的运行数据进行一次过滤；然后对待优化任务对应的历史数据库中的运行数据与一次过滤后的运行数据进行有向无环图的相似度计算，并对相似度低于一定阈值的运行数据进行二次过滤；最后将两次过滤后的结果经过计算排序，并将排序后的运行数据所对应的任务参数作为任务参数优化结果。本发明能自动进行分布式迭代计算系统的任务参数优化，是一种即插即用型自适应调优方法，能够显著降低用户使用分布式迭代计算系统的门槛。

主权项

一种分布式迭代计算系统中任务参数优化的方法，其特征在于，该方法首先采集分布式迭代计算系统中历史任务的运行数据，构建历史数据库；进行任务参数优化时，根据约束条件对历史数据库中显著不相关的运行数据进行一次过滤；然后对待优化任务对应的历史数据库中的运行数据与一次过滤后的运行数据进行有向无环图的相似度计算，并对相似度低于一定阈值的运行数据进行二次过滤；最后将两次过滤后的结果经过计算排序，并将排序后的运行数据所对应的任务参数作为任务参数优化结果。