一种基于粒子群优化的最小二乘支持向量机组合预测方法

摘要

本发明提出了一种基于粒子群优化的最小二乘支持向量机组合预测方法，根据要预测的数据特征选择合适的单项预测模型，将不同的预测方法进行适当的组合，充分利用各单项预测模型所包含的有用信息，建立最小二乘支持向量机LSSVM回归模型，利用粒子群优化算法PSO优化影响LSSVM回归模型精度的2个核心参数包括核函数参数g以及LSSVM中正则化参数C，得到最佳的LSSVM回归模型；从而达到提高预测精度、降低预测风险的目的，极大提高了算法的收敛速度，更加符合实际工程需要。

主权项

1.一种基于粒子群优化的最小二乘支持向量机组合预测方法，其特征在于，所述方法包括如下步骤：步骤A，根据数据特征选择合适的单项模型，步骤为：步骤A-1，确定训练集和测试集，对于预测数据给定时间序列的实际测试值，将它们分为训练集T_r和测试集T_e，y_Tri和n_Tr分别代表训练集T_r的实际值和样本量；y_Tei和n_Te分别代表测试集的实际值和样本量；步骤A-2，数据预处理，采用级差标准化对训练集T_r和测试集T_e的实测数据进行标准化处理，标准化后的数值在[0,1]范围内；步骤A-3，训练集T_r建模，利用训练集T_r中的y_Tri作为样本完成单一模型建模，得到AR模型、GM（1,1）模型和BP神经网络模型的参数；对于AR模型的阶数，利用AIC准则与FPE准则，不同的模型阶数p，计算出不同的AIC值与FPE值，取平均值，最小值时的p就是适用模型的阶数，相应的模型即为最佳适用模型；并将该AR模型的阶数值作为BP神经网络模型的嵌入维数，BP神经网络模型的隐层神经元数目由经验公式给出：n_H＝(n_I+n_O)^1/2+l，其中n_H为隐含层神经元数目，n_I为输入层神经元数目，n_O为输出层神经元数目，l取值为1到10的整数；步骤B，通过单项预测方法得到初步预测结论作为最小二乘支持向量机LSSVM组合预测样本，根据支持向量机回归原理，建立LSSVM回归模型；分别对AR模型、GM（1,1）模型和BP神经网络模型输入对应的参数，得到训练集中数据y_Tri的拟合值形成训练样本，利用得到的训练样本，训练生成LSSVM模型：$f\left(x\right)=\underset{i=1}{\overset{l}{\Sigma }}{\alpha }_{i}K(x,x_i)+b$其中，高斯径向基核函数K(_xi,x_j)＝exp(-g||x_i-x_j||²)；α_i为Lagrange因子，α_i∈R；b为常值偏差；步骤C，利用粒子群优化算法PSO优化影响LSSVM回归模型精度的2个核心参数包括核函数参数g以及LSSVM中正则化参数C，得到最佳的LSSVM回归模型；将g和C分别作为粒子的x轴坐标和y轴坐标，群体规模设为M，最大迭代次数为h_max，C∈[1,10000]，g∈[0,1]并按以下步骤：步骤C-1，初始化粒子群，随机设置粒子的初始位置x和速度v；步骤C-2，计算每个粒子的适应度值fitness，在每个粒子位置，运用训练样本数据训练得到LSSVM回归模型，并用训练好的模型计算得到测试样本的预测值，并将测试样本的真实值与预测值的平均绝对误差作为粒子的适应度值；步骤C-3，对所有的i∈{1,2,…,M}，如果fitness_i>Pbest_i，则令Pbest_i＝fitness_i，如果fitness_i>gbest，则重新设置gbest的索引号a；其中，Pbest_i为第i个粒子曾经达到的最大适应度值，为粒子曾经到达的最大适应度值时对应的位置，gbest为在群体所有粒子经历过的最好位置；步骤C-4，每一个粒子的位置x_i和速度v_i分别为：$v_i={\mathrm{wv}}_i+c_1{r}_1(x_i^{\mathrm{Pbest}}-x_i)+c_2{r}_2(x_i^{\mathrm{gbest}}-x_i)$x_i＝x_i+v_i其中，r₁,r₂为[0,1]之间的随机数，c₁,c₂为加速度系数，c₁+c₂≥4，w为惯性权值；步骤C-5，检查停止条件，如果达到最大迭代次数h_max则停止迭代；否则，返回步骤C-2；步骤C-6，根据得到的最优参数g和C，建立LSSVM回归模型；步骤D，利用已建立的单项模型分别进行外推预测，得到待预测数据的预测值输入到LSSVM模型中，得到数据在预测时间点的预测值求出各模型的外推误差E_Te、拟合误差E_Tr和外推误差之和E_s：$E_{\mathrm{Tr}}=\frac{1}{n_{\mathrm{Tr}}}\underset{i=1}{\overset{n_{\mathrm{Tr}}}{\Sigma }}\frac{|{\hat{y}}_{\mathrm{Tri}}-y_{\mathrm{Tri}}|}{y_{\mathrm{Tri}}}\times 100\%;$$E_{\mathrm{Te}}=\frac{1}{n_{\mathrm{Te}}}\underset{i=1}{\overset{n_{\mathrm{Te}}}{\Sigma }}\frac{|{\hat{y}}_{\mathrm{Tei}}-y_{\mathrm{Tei}}|}{y_{\mathrm{Tei}}}\times 100\%,$E_s＝E_Tr+E_Te。