基于大数据方式的强化学仿人机器人步态规划方法

摘要

本发明公开了一种基于大数据方式的强化学仿人机器人步态规划方法，首先，通过装配在仿人机器人上的传感器获取状态信息；然后使用Q学算法计算动作，对离线步态进行修正，同时获得立即回报值；接着将以上信息以四元组的形式，使用大数据存储方法保存到文件中；最后随机抽取四元组结合RBF神经网络更新Q函数。本发明方法能够对仿人机器人在不平整环境情况下的步行运动进行平稳调控，相较于仅利用离线步态指导机器人行走的方法，拥有更高的效率和优势，实验证明了该方法的可行性和有效性。

主权项

基于大数据方式的强化学习仿人机器人步态规划方法，其特征在于：首先，需要通过装配在仿人机器人上的传感器获取状态信息，仿人机器人行走时的稳定程度主要受支撑脚上俯仰方向的舵机影响，因此在所定义的状态信息中，应该提供支撑脚信息以及支撑脚上俯仰舵机的角度信息，此外还应指明躯干在俯仰方向的倾斜角度，俯仰方向的角速度表明了仿人机器人的稳定程度；其次，使用倒立摆模型预先生成仿人机器人的离线步态，用于仿人机器人步行的基本标准；假设在时刻t，智能主体通过执行动作a_t，使环境状态从s_t变为s_t+1，立即回报值为r，则Q函数按照以下公式进行更新：Q(s_t,a,t+1)＝λQ(s_t,a,t)+(1‑λ)[r+γmax{Q(s_t+1,b,t)/b∈A}]其中，A为所有可能的动作集合；λ为学习率，取值为[0,1]；γ为衰减因子，取值为(0,1)；在该公式当中，Q(s_t+1,b,t)为一个稍晚的值，以γ的概率对其折扣并加上立即奖励，并以一定的学习率对前一个Q值进行更新估计；当Q函数的值收敛于最优值Q时，则停止更新；此时智能主体可以根据Q值选择相应的最优的动作序列；当获得动作之后，调整髋关节的舵机方向，改变其角度值；智能主体每次执行动作之后都会获得一个四元组(s_t,a_t,s_t+1,r)，该四元组储存了t时刻的经验；获取四元组后，使用大数据存储的方法把四元组保存到外部文件中或云端以便后续过程的使用，文件中每一行数据就是四元经验组，每经过设定的迭代次数，在文件中抽取四元组对Q函数进行更新，使规划的策略达到最优；接下来随机抽取数据更新Q函数，利用随机函数生成的结果如果小于预设值，就抽取并使用当前这组数据，否则跳过；在Q函数的更新过程中，使用RBF神经网络对连续空间下的状态和行为进行拟合，RBF神经网络的输入节点为7个，隐藏层1个，输出节点为1个；输入向量是s(t)和a(t)，分别表示Q函数在t时刻输入的状态和动作，y(t)是隐藏层的激活函数，对于第i个神经元而言，使用以下函数计算输出：$y_i\left(t\right)=\exp (-\frac{1}{2{\sigma }_i^2\left(t\right)}|\left|x\right(t)-{\mu }_i\left(t\right)\left|{|}^2\right)$其中，μ_i和σ_i分别是第i个神经元的中心和标准差；输出层中，Q(t)是Q函数的输出，用如下公式进行更新：$Q\left(t\right)=\underset{i=1}{\overset{k}{\Sigma }}{w}_i\left(t\right)y_i\left(t\right)$下式定义了Q学习的误差δ，该误差表明了Q函数在学习过程中的收敛程度，定义判断该系统的学习性能的标准：$E\left(t\right)=\frac{1}{2}{\delta }_Q^2\left(t\right)$应用后向传播算法和梯度下降法，对RBF神经网络中每个神经元的输出权重进行更新：$w_i(t+1)=w_i\left(t\right)+{\alpha }_w\frac{\partial E}{\partial w}$其中，α_w为学习率，对于E(t)和w_i(t)，有以下关系：$\frac{\partial E}{\partial {\delta }_Q}=\frac{\partial \left(\frac{1}{2}{\delta }_Q^2\right(t\left)\right)}{\partial {\delta }_Q}={\delta }_Q$$\frac{\partial {\delta }_Q}{\partial w}=y_i$根据链式法则，对于权重w_i，更新公式变为：w_i(t+1)＝w_i(t)+α_wδ_Q(t)y_i(t)对于每个神经元径向基函数的中心和标准差μ_i和σ_i，有以下更新公式：${\mu }_i(t+1)={\mu }_i\left(t\right)+{\alpha }_{\mu }{\delta }_Q\left(t\right)w_i\left(t\right)y_i\left(t\right)\frac{x\left(t\right)-{\mu }_i\left(t\right)}{{\sigma }_i^2\left(t\right)}$${\sigma }_i(t+1)={\sigma }_i\left(t\right)+{\alpha }_{\sigma }{\delta }_Q\left(t\right)w_i\left(t\right)y_i\left(t\right)\frac{\left|\right|x\left(t\right)-{\mu }_i\left(t\right)|{|}^2}{{\sigma }_i^3\left(t\right)}$其中，α_μ和α_σ分别为RBF函数中心和标准差的学习率。