一种数据处理方法及装置

摘要

本发明公开了一种数据处理方法及装置，用以解决现有技术中融合多种计算框架的资源管理系统在处理数据任务时，不是通过运行时间和资源消耗选择计算框架，数据处理效率较低的问题，降低了系统的工作性能的问题。该方法为：针对子任务集中每个子任务，确定候选计算框架，并预测每个候选计算框架执行该子任务时对应的运行时间和资源消耗，并根据预测的每个候选计算框架执行该子任务时对应的运行时间和资源消耗，在候选计算框架中，筛选出执行该子任务的目标计算框架，执行该子任务。这样，资源管理系统通过运行时间和资源消耗在多个计算框架中选择目标计算框架执行每个子任务，提高了数据处理效率，以及系统的工作性能。

主权项

一种数据处理方法，其特征在于，包括：接收任务请求，所述任务请求中携带有用户提交的任务；根据所述任务请求中的所述任务，生成包含至少一个子任务的子任务集；确定执行每个子任务的输入数据；针对所述子任务集中的每个子任务执行以下操作：在系统配置的所有计算框架中确定具有执行该子任务的能力的计算框架作为候选计算框架，其中，所述候选计算框架的数目大于或等于2；根据该子任务的输入数据、以及每个候选计算框架对应的预测模型，分别预测每个候选计算框架执行该子任务时对应的运行时间和资源消耗；根据预测的每个候选计算框架执行该子任务时对应的运行时间和资源消耗，在所述候选计算框架中，筛选出执行该子任务的目标计算框架；基于筛选出的执行所述子任务集中的每个子任务的目标计算框架，执行对应的子任务。