一种基于结构可调极限学机的在线建模方法

摘要

一种基于结构可调极限学机的在线建模方法，属于自动控制、信息技术和先进制造领域，具体涉及在极限学机的在线学过程中调整其结构和参数以容纳新获得数据的方法。其特征在于包括以下步骤：定义类别球概念，在每次学过程中，判断新获得的数据是否在类别球外且会导致建模精度下降，若是则添加新隐层节点，否则仅调整类别球的球心和半径，最后更新极限学机的输出层权值。本发明首先引入类别球概念用以包含之前训练过程已用过的数据，在确定新增隐层节点参数时，通过使该节点在距类别球最近点的输出足够小，以确保该节点在上述已用过的数据上的输出值为0，并给出了输出层权值更新公式。本发明可通过增加隐层节点以提高在线建模精度。

主权项

1.一种基于结构可调极限学习机(ELM)的在线建模方法，其特征在于，所述方法是在计算机上依次按如下步骤实现的：步骤(1)：模型选择和参数初始化设置单隐层极限学习机的隐层节点数M，输入层节点个数与训练样本维数n相同，输出节点个数与训练目标的维数m相同；隐层节点的激励函数G(a_i，b_i，x)采用高斯函数，随机确定每个隐层节点的中心a_i和宽度b_i，i＝1，2，…M；根据最初的N个样本训练极限学习机，获得初始的隐层输出矩阵H₀和输出层连接矩阵β₀，其中，β＝(H₀^TH₀)^-1H₀T₀$T_0=\left[\begin{array}{c}{t}_{11}...t_{1m}\\ ...\\ t_{N1}...t_{\mathrm{Nm}}\end{array}\right]={\left[\begin{array}{c}{t}_1^T\\ ...\\ t_N^T\end{array}\right]}_{N\times m}$初始化矩阵K，使得计算保存β₀、K₀和P₀；用一个类别球O包围初始训练样本集X₀，使该球恰好将X₀中的所有样本点包围在其内部，确定此球的球心C₀和半径R₀；步骤(2)：在线学习过程新增训练数据x₁＝(x_N+1，t_N+1)到来时，按照如下步骤训练ELM，使其既能保存X₀的知识，又可以容纳x₁所包含的新知识步骤(2.1)：维持网络结构不变，仅根据x₁调整输出层连接矩阵β₀，更新后的输出层权值连接矩阵为β₁，同时更新矩阵K₀和P₀为K₁和P₁，${\beta }_1={\beta }_0+P_1{H}_1^T(T_1-H_1{\beta }_0)$$P_1=K_1^{-1}=P_0-P_0{H}_1^T{(I+H_1{P}_0{H}_1^T)}^{-1}{H}_1{P}_0$$K_1=K_0+H_1^T{H}_1$其中，H₁和T₁分别为ELM对新样本x₁的隐层输出矩阵和训练目标矩阵，即H₁＝[G(a₁，b₁，x_N+1)…G(a_M，b_M，x_N+1)]_1×M$T_1=[t_{(N+1)1}...t_{(N+1)m}]={\left[t_{N+1}^T\right]}_{1\times m}$步骤(2.2)：计算调整参数后的ELM对新增样本x₁的训练误差e，判断新样本x₁是否在球O外，若在球O外且e大于设定阈值，放弃上述所有调整，转向步骤(2.3)，否则，转向步骤(3)；步骤(2.3)：增加一个隐层节点，设定其中心a为x₁，宽度b由下式确定，即$b\le -\frac{\left|\right|x_c-a\left|\right|}{\ln ϵ}$其中，ε为预设定的阈值，x_c为类别球O上距新样本点x₁最近点的坐标，可由下式确定x_c＝x_o+λ₁(x_a-x_o)其中，x_o为球O的球心坐标，λ₁可由下式确定${\lambda }_1=\frac{\left|\right|x_c-x_o\left|\right|}{\left|\right|x_a-x_o\left|\right|}=\frac{R}{\left|\right|x_a-x_o\left|\right|}$上式中的x_a即为新样本点x₁的坐标；重新调整输出层连接矩阵β₀为β₁，并相应地更新矩阵K₀和P₀为K₁和P₁，使得${\beta }_1=P_1\left[\begin{array}{c}{K}_0{\beta }_0+H_1^T{T}_1\\ H_{11}^T{T}_1\end{array}\right],$$K_1=\left[\begin{array}{cc}{K}_0+H_1^T{H}_1& H_1^T{H}_{11}\\ H_{11}^T{H}_1& H_{11}^T{H}_{11}\end{array}\right],$$P_1=K_1^{-1}=\left[\begin{array}{cc}{A}_{11}& A_{12}\\ A_{21}& A_{22}\end{array}\right]$$A_{11}=P_1^{\prime }+P_1^{\prime }\left(H_1^T{H}_{11}\right)R^{-1}\left(H_{11}^T{H}_1\right)P_1^{\prime },$$A_{12}=-P_1^{\prime }\left(H_1^T{H}_{11}\right)R^{-1},$$A_{21}=A_{12}^T,$A₂₂＝R^-1$R=H_{11}^T{H}_{11}-\left(H_{11}^T{H}_1\right)P_1^{\prime }\left(H_1^T{H}_{11}\right)$$P_1^{\prime }{(K_0+H_1^T{H}_1)}^{-1}=P_0-P_0{H}_1^T{(I+H_1{P}_0{H}_1^T)}^{-1}{H}_1{P}_0,$$P_0=K_0^{-1}$其中，H₀₁和H₁₁分别为新增隐层节点对原样本集X₀和新样本点x₁的隐层输出矩阵，即N₁和L分别为x₁中的样本点个数和新增隐层节点个数，本方法仅考虑新样本点逐个到达的情况，故N₁＝L＝1；步骤(3)：更新类别球O的参数更新类别球O的参数，即更新其球心坐标和半径，使得新球O₁恰好将X₀和x₁中的所有样本点都包围在其中，其更新公式为：$R_{\mathrm{new}}=\frac{\left|\right|x_a-x_b\left|\right|}{2}$$x_{o\_\mathrm{new}}=\frac{x_a+x_b}{2}$其中，x_a和x_b分别为新样本点x₁的坐标和球O上距x₁最远点的坐标，x_b可由下式计算，x_b＝x_o+λ₂(x_o-x_a)其中，x_o为球心O的坐标，λ₂可由下式计算，${\lambda }_2=\frac{\left|\right|x_b-x_o\left|\right|}{\left|\right|x_o-x_a\left|\right|}=\frac{R}{\left|\right|x_o-x_a\left|\right|}$