操作条件反射自动机及其在仿生自主学控制中的应用

摘要

本发明提出了一种操作条件反射自动机模型，并且基于该模型设计了一种仿生自主学控制的方法。针对自然界系统的控制问题，运用仿生的自组织学方法，设计出一种可用于描述，模拟，设计具有自组织(包括自学和自适应)功能的操作条件反射自动机模型，从而有效的将仿生学、心理学应用于系统的控制。该方法利用操作条件反射自动机模型OCM，首先是由当前系统的输入和状态，随机的选择操作(控制量)，并倾向于选择概率值大的操作，概率值大的操作取向性好。待实施控制后观测状态并对外输出其控制效果，再由取向单元来评价控制后的状态，修改其规则集合概率值，不断得取向性好的行为，以便下次选择更优的行为，最终实现其自主控制。

主权项

1、操作条件反射自动机，操作条件反射自动机以下简称为OCM，其特征在于：是一个八元组OCM＝<A，S，O，Z，R，f，ψ，δ>，其中，(1)OCM的输入符号集合：A＝{a_j|j＝0，1，2，…，n_A}，a_j为OCM第j个输入符号；(2)OCM的内部状态集合：S＝{s_i|i＝0，1，2，…，n_S}，s_i为OCM第i个状态符号；(3)OCM的内部操作集合：O＝{o_k|k＝1，2，…，n_O}，o_k为OCM第k个操作符号；(4)OCM的输出符号集合：Z＝{z_m|m＝0，1，2，…，n_Z}，z_m为OCM第m个输出符号；(5)OCM的规则集合：R＝{r_ijk|i∈{0，1，2，…，n_S}；j∈{0，1，2，…，n_A}；k∈{1，2，…，n_O}}，R的每一个元素r_ijk∈R代表一条随机“条件-操作”规则：r_ijk：s_i×a_j→o_k(p_ijk)即OCM在状态处于s_i(∈S)和输入为a_j(∈A)的条件下依概率p_ijk实施操作o_k(∈O)，p_ijk＝p(o_k|s_i∩a_j)是OCM在状态处于s_i和输入为a_i∈A的条件下实施操作o_k的概率，又称规则r_ijk的激发概率；15(6)OCM的状态空间方程：$f:\left\{\begin{array}{c}{f}_S:S\left(t\right)\times A\left(t\right)\times O\left(t\right)\to S(t+1)\\ f_Z:S\left(t\right)\times A\left(t\right)\times O\left(t\right)\to Z(t+1)\end{array}\right.$其中，f_S是OCM的状态转移方程，OCM t+1时刻的状态s(t+1)(∈S)由t时刻的状态s(t)(∈S)和t时刻输入a(t)(∈A)及t时刻的操作o(t)(∈O)确定，与其t时刻之前的状态、输入和操作无关，并且，f_S是未知的，但OCM状态转移的结果是OCM自身观测的；f_Z是OCM的输出方程，OCMt+1时刻的输出z(t+1)(∈Z)由t时刻的状态s(t)(∈S)和t时刻输入a(t)(∈A)及t时刻的操作o(t)(∈O)确定，与其t时刻之前的状态和输入及操作无关，OCM的输出是外部世界观测的；(7)OCM的状态取向函数：ψ：S×A→[h，q]，h定义为取向性最差的取向函数值，q为取向性最好的取向函数值对于任一s_i(∈S)和输入a_j(∈A)，ψ_ij＝ψ(s_i，a_j)是OCM关于状态s_i和输入a_j的期望值，如果ψ_ij＜0，则称s_i是OCM在输入为a_j时的负取向状态；如果ψ_ij＝0，则称s_i是OCM在输入为a_j时的零取向状态；如果ψ_ij＞0，则称s_i是OCM在输入为a_j时的正取向状态；(8)OCM的操作条件反射学习律：设OCM t时刻的状态为s(t)＝s_a∈S，输入a(t)＝a_b∈A，依集合R中随机“条件-操作”规则选中的操作为o(t)＝o_c∈O，实施操作后观测到t+1时刻的状态s(t+1)＝s_d∈S，则基于操作条件反射原理，操作集合R中随机“条件-操作”规则p_abk(k＝1，2，…，n_O)的激发概率依$\delta :\left\{\begin{array}{c}\forall k\ne c{p}_{\mathrm{abk}}(t+1)=p_{\mathrm{abk}}\left(t\right)-\xi \left({\overrightarrow{\psi }}_{\mathrm{abk}}\right)·p_{\mathrm{abk}}\left(t\right)\\ p_{\mathrm{abk}}(t+1)=\max \min (p_{\mathrm{abk}}(t+1),\mathrm{0,1})\\ p_{\mathrm{abc}}(t+1)=1-\underset{k\ne c}{\Sigma }{p}_{\mathrm{abk}}(t+1)\end{array}\right.$进行调节，其中，是OCM在状态处于s_a(∈S)和输入为a_b(∈A)的条件下实施操作o_c(∈O)后状态转移为s_d(∈S)后取向函数值的变化量，用此变化量来判断该操作的好坏；是单调增函数，ξ(x)＝0当且仅当r是操作规则总数，λ是学习率，即每次迭代学习的速率；p_abc(t)(a∈{0，1，2，…，n_S}；b∈{0，1，2，…，n_A}；c∈{1，2，…，n_O})是OCM状态处于s_a(∈S)和输入为a_b(∈A)时实施操作o_c(∈O)的概率p(o_c|s_a∩a_b)在t时刻的值，当时，说明实施操作o_c(∈O)并转移状态为s_d(∈S)后的取向函数值变小，即取向性变差，则p_abc(t+1)＜p_abc(t)，表示下一时刻选择操作o_c(∈O)的概率减小；当时，说明实施操作o_c(∈O)并转移状态为s_d(∈S)后的取向函数值不变，即取向性也不变，这时p_abc(t+1)＝p_abc(t)，表示下一时刻选择操作o_c(∈O)的概率不变；当时，说明实施操作o_c(∈O)并转移状态为s_d(∈S)后的取向函数值变大，即取向性变好，则p_abc(t+1)＞p_abc(t)，表示下一时刻选择操作o_c(∈O)的概率增大；其中max min(p_abk(t+1)，0，1)是当p_abk(t+1)＞1时p_abk(t+1)＝1；p_abk(t+1)＜0时p_abk(t+1)＝0保证p_abk(t+1)∈[0，1]，且即表示在同一输入同一状态下采取不同操作的概率和为1，当t →∞时，若p_abc(t)→1，说明操作o_c(∈O)在状态处于s_a(∈S)和输入为a_b(∈A)的条件下行为最优；当学习达到迭代次数或者当某一状态处于s_a(∈S)和输入为a_b(∈A)的条件下实施操作o_c(∈O)的概率p_abc(t)≥p_ε时停止学习，p_ε∈[0.7，1]。