使卷积神经网络的训练并行化

摘要

用于训练卷积神经网络(CNN)的方法、系统和设备，包括在计算机存储介质上编码的计算机程序。所述系统包括多个工作器，其中，每个工作器被配置成维护所述CNN的卷积层中的每个卷积层的相应的副本以及所述CNN的全连接层中的每个全连接层的相应的不相交分区，其中，卷积层的每个副本包括所述卷积层中的节点中的全部，并且其中，全连接层的每个不相交分区包括所述全连接层的节点的一部分。

主权项

一种用于在多个批量的训练样例上训练卷积神经网络的系统，所述卷积神经网络具有多个层，所述多个层被布置成从最低到最高的序列，所述序列包括一个或多个卷积层，所述一个或多个卷积层后面跟随有一个或多个全连接层，每个卷积层和每个全连接层包括相应的多个节点，所述系统包括：多个工作器，其中，每个工作器被配置成维护每个所述卷积层的相应副本以及每个所述全连接层的相应的不相交分区，其中，卷积层的每个副本包括所述卷积层中的全部节点，其中，全连接层的每个不相交分区包括所述全连接层的一部分所述节点，并且其中，每个工作器被配置成执行操作，所述操作包括：接收指派给所述工作器的批量的训练样例，其中，所述批量的训练样例被指派为使得每个工作器接收所述多个批量中的相应批量；在指派给所述工作器的所述批量的训练样例上，训练由所述工作器维护的所述卷积层副本；以及在所述多个批量的训练样例的每个上，训练由所述工作器维护的所述全连接层分区。