用于训练神经网络的计算系统

摘要

各技术和构造可减少确定优化问题(如神经网络的训练)的解所需的时间。可由并行地操作的多个节点确定对计算模型的修改。经量化的修改值可以在各节点之间传送以减少要传送的数据量。经量化的值可小至每一者一位。量化‑误差值可被存储并用于量化后续修改。各节点可并行地操作且使计算和数据传输重叠以进一步减少确定解所需的时间。经量化的值可被分区且每一节点可合计对应分区的值。

主权项

一种方法，包括：确定优化问题的计算模型的梯度矩阵；使用对应的所存储的误差矩阵来量化所述梯度矩阵；使用对应的经量化的梯度矩阵来更新所述误差矩阵；以及与多个节点交换经量化的梯度矩阵。