基于监督式强化学的最优控制方法

摘要

本发明提出一种基于监督式强化学的最优控制方法，包括步骤：步骤1，初始化控制器和评价器的人工神经网络的权值等参数，及一组训练数据集；步骤2，选择一组系统状态开始迭代；步骤3，监督式控制器产生初始稳定的控制策略，控制器通过调整自身权值逼近该控制策略；步骤4，控制器生成相应的控制动作，并附加一定的随机噪声作为探索；步骤5，将带有噪声的控制动作施加到被控制的系统上，观测下一时刻系统的状态和回报；步骤6，调整控制器和评价器的人工神经网络的权重；步骤7，判断当前状态是否满足终止条件，是则进入步骤8，否则回到步骤3；步骤8，判断初始的系统状态数据是否已经全部用于训练，是则输出最终的控制器，否则回到步骤2。

主权项

一种基于监督式强化学习的最优控制方法，其特征在于，该方法包括以下步骤：步骤1，首先初始化控制器和评价器的人工神经网络的权值参数，和一组训练数据集；步骤2，选取一组训练数据即系统状态开始进行迭代学习；步骤3，根据当前时刻的系统状态，采用监督式控制器监督控制器的人工神经网络学习一个容许可控的控制策略；其中，所述控制器的在线学习采用标准三层前向人工神经网络模型，首先计算监督式控制器的输出以及控制器人工神经网络的输出，将两者差值的平方项的一半定义为监督误差，具体公式表示为：$E_s\left(t\right)=\frac{1}{2}{[u^A\left(t\right)-u^S\left(t\right)]}^2,$其中u^S(t)为监督式控制器的输出，u^A(t)为控制器的人工神经网络的输出；然后利用所述监督误差对控制器进行学习，使所述监督误差减小到预定值或者使学习次数达到预定值以获得与所述监督式控制器近似的控制策略；其中，所述控制器的人工神经网络的权值调节方法为：${\mathrm{\Delta \omega }}_a^s\left(t\right)=-\alpha \frac{\partial E_s\left(t\right)}{\partial {\omega }_a\left(t\right)}=-{\mathrm{\alpha \sigma }}_a\left(t\right){[{\omega }_a^T\left(t\right){\sigma }_a\left(t\right)-u^s\left(t\right)]}^T;$${\omega }_a(t+1)={\omega }_a\left(t\right)+{\mathrm{\Delta \omega }}_a^S\left(t\right);$其中，为控制器的人工神经网络权值的梯度，ω_a(t)为控制器的人工神经网络权值，ω_a(t+1)为控制器的人工神经网络更新后的权值，σ_a(t)为控制器的人工神经网络隐含层激活函数，α为学习速率；步骤4，控制器的人工神经网络输出学习到的控制策略，并在此基础上附加一定的随机噪声作为探索，以期获得更好的控制策略；步骤5，根据当前控制策略和当前时刻被控系统的状态，生成控制动作并施加到被控系统上，获得下一时刻的系统状态和系统给出的回报；步骤6，根据前一时刻系统状态、相应控制动作和下一时刻的系统状态，调整控制器、评价器的人工神经网络的权重，获得调整后的控制器和评价器的人工神经网络权重；步骤7，判断当前状态是否满足定义的终止条件，是则进入步骤8，否则返回步骤3继续执行；步骤8，判断是否将选取的训练数据集中的数据全部用于训练，是则输出当前控制器的人工神经网络对应的控制策略作为最优的控制策略，否则返回步骤2继续训练。