一种神经网络训练方法

摘要

本发明实施例涉及人工智能和模式识别技术领域，尤其涉及一种神经网络训练方法，用以解决现有技术中训练过程收敛速度慢的问题。本发明实施例的方法包括：获取神经网络基于第k次迭代过程所使用的学率对n个样本进行迭代后输出的n*m个标签值预测值；计算第一参数；其中，第i标签值的第一参数为所述n个样本的第i标签值预测值与第i标签值真实值之间的误差的平均值；根据所述第一参数调整所述神经网络的第k+1次迭代过程所使用的学率。由于基于标签值的误差的情况，对下一次迭代过程的学率进行调整，从而可引导训练过程以高效的方式快速向全局最优的方向进行收敛。

主权项

一种神经网络训练方法，其特征在于，包括以下步骤：利用n个样本对神经网络进行迭代，在第k次迭代之后执行：获取神经网络基于第k次迭代过程所使用的学习率对n个样本进行迭代后输出的n*m个标签值预测值；其中，每个样本对应m个标签值预测值，每个样本的m个标签值预测值包括第一标签值预测值至第m标签值预测值；其中，n、m、k均为正整数，k大于1；针对第一至第m标签值预测值中的每个标签值预测值，计算第一参数，其中，第i标签值的第一参数为所述n个样本的第i标签值预测值与第i标签值真实值之间的误差的平均值，i的取值范围为[1，m]；根据所述第一参数调整所述神经网络的第k+1次迭代过程所使用的学习率；其中，所述根据第一参数调整所述神经网络的第k+1次迭代过程所使用的学习率，包括：根据所述第一参数计算第二参数；其中，第i标签的第二参数为所述第i标签值的第一参数的方差；根据所述第一参数和第二参数调整所述神经网络的第k+1次迭代过程所使用的学习率。