一种数据处理方法和设备

摘要

本申请公开了一种数据处理方法和设备，包括：获取数据样本集合，数据样本集合中包含训练数据样本集合和测试数据样本集合；针对待处理的分析模型的每一个参数组合，分别将参数组合和数据样本集合发送至与参数组合的资源指示属性相匹配的计算单元，使计算单元利用训练数据样本集合和参数组合训练得到分析模型的一个子分析模型；利用测试数据样本集合对每一个子分析模型所对应的参数组合进行评分，得到每一个参数组合的评分结果；根据评分结果，确定出满足设定条件的参数组合，实现从全局参数中选择出最优的参数组合，建立性能可靠的分析模型；在分析全局参数时采用异构计算集群系统，有效地使用系统资源，提升系统资源的利用率。

主权项

一种数据处理方法，其特征在于，包括：获取数据样本集合，其中，所述数据样本集合中包含训练数据样本集合和测试数据样本集合；针对待处理的分析模型的每一个参数组合，分别将所述参数组合和所述数据样本集合发送至与所述参数组合的资源指示属性相匹配的计算单元，使得所述计算单元利用所述训练数据样本集合和所述参数组合训练得到所述分析模型的一个子分析模型，并利用所述测试数据样本集合对每一个所述子分析模型所对应的参数组合进行评分，得到每一个所述参数组合的评分结果，其中，所述资源指示属性用于表征基于所述分析模型使用所述参数组合完成计算所需要的计算资源；根据所述评分结果，确定出基于所述待处理的分析模型的满足设定条件的参数组合。