融合最小二乘向量机回归学思想的改进极限学机

摘要

本发明涉及一种改进极限学机，尤其是一种融合最小二乘向量机回归学思想的改进极限学机，属于人工智能的技术领域。本发明在传统极限学机经验风险最小化基础上，融合了最小二乘向量机回归学思想，增加了结构风险控制项，通过有效调节两种风险的比例来求解，这就大大降低了模型产生过度拟合的风险。通过在SinC数据集、Boston Housing数据集及在渔业养殖中的溶氧预测中的实际应用这三个实验表明，与ELM算法和EOS-ELM算法相比，该方法的预测误差与训练误差比较接近，有效降低了过拟合问题，其预测的精度也得到了一定的提高。

主权项

一种融合最小二乘向量机回归学习思想的改进极限学习机，其特征是，所述改进极限学习机包括如下步骤：步骤1、给定观测数据集T，T＝{(x1,y1),…,(xj,yj),…,(xN,yN)}，其中，xj∈Rn,yj∈R,j＝1,…,N；将包括N个隐层节点，激励函数为G的极限学习机回归模型设定为 f ( x ) = Σ i = 1 N β i G ( a i , b i , x i ) = β · h ( x ) ; 其中，βi为第i个隐层节点与输出神经元的输出权值，β为输出权值矩阵，ai为输入神经元与第i个隐层节点的输入权值，bi为第i个隐层节点的偏置，h(x)为隐层输出矩阵，h(x)＝[G(a1,b1,x1),…,G(aN,bN,xN)]；步骤2、随机初始化输入权值ai和偏置bi，i＝1,...,N，并使得输入权值ai和偏置bi在训练过程中保持不变；步骤3、根据经验风险最小化的ELM和结合最小二乘向量机回归学习思想的结构风险最小化方法，得到 min 1 2 | | β | | 2 + 1 2 ζ Σ i = 1 N δ i 2 y i - f ( x i ) = δ i δ i ≥ 0 , i = 1 , · · · , N 其中，δi为误差，误差的平方和δi2代表经验风险；||β||2代表结构风险，ζ为调节系数；步骤4、将步骤3得到的条件极值函数转换为拉格朗日函数，得到 L ELM = 1 2 | | β | | 2 + 1 2 ζ Σ i = 1 N δ i 2 - Σ i = 1 N λ i [ y i - f ( x i ) - δ i ] 其中，LELM为拉格朗日函数；λi为拉格朗日乘子；步骤5、将步骤4得到拉格朗日函数利用KKT最优函数得到 ∂ L ELM ∂ β = 0 ⇒ β = Σ i = 1 N λ i h ( x i ) ∂ L ELM ∂ δ i = 0 ⇒ λ i = ζ · δ i ∂ L ELM ∂ λ i = 0 ⇒ y i - f ( x i ) - δ i = 0 ; 并根据上述优化约束条件计算得到拉格朗日乘子λi和输出权值矩阵β；步骤6、根据步骤5得到的输出权值矩阵β，得到极限学习机回归模型f(x)。