一种数据处理方法及设备

摘要

本申请公开了一种数据处理方法。在将训练样本均匀划分为多个第一子训练样本后，继续将各子训练样本按照各MPI计算节点中所包含的计算单元的数量均匀划分为多个第二子训练样本，后续为各计算单元分配一个第二子训练样本，并根据各计算单元的生成的第一计算结果获取训练样本的计算结果。通过在支持多计算节点的并行处理的基础上进一步在每个计算节点内部采取并行处理，极大地提高了数据处理效率。

主权项

一种数据处理方法，其特征在于，包括：将训练样本均匀划分为多个第一子训练样本，所述第一子训练样本的数量与当前存在的消息传递接口MPI计算节点的数量相同；将各所述子训练样本按照各所述MPI计算节点中所包含的计算单元的数量均匀划分为多个第二子训练样本；为各所述计算单元分配一个第二子训练样本；根据各所述计算单元的生成的第一计算结果获取所述训练样本的计算结果。