基于自适应粒子群的最小二乘支持向量机预测方法

摘要

本发明涉及一种基于自适应粒子群的最小二乘支持向量机预测方法，该方法根据群体的收敛程度和个体的适应值来调整惯性权重，加快训练速度，利用该算法迭代求解LS‑SVM中出现的矩阵方程，避免矩阵求逆，节省内存，并求得最优解。该方法可以有效简化训练样本，提高训练速度，且分类精度良好，收敛速度快，有很好的泛化能力。解决了预测时特征维数较高、特征之间存在冗余且样本有限的问题。

主权项

一种基于自适应粒子群的最小二乘支持向量机预测方法，其特征在于，包括如下步骤：步骤一)采取调整惯性权重因子ω和增加约束因子α以及借助迁移学习的思想引入源域因子和目标域因子的措施，对基本PSO模型进行改进，得到改进的自适应PSO模型：$v_i^{k+1}=\omega ·v_i^k+c_1{r}_1[{\xi }_q(p_i^k-x_i^k)+{\xi }_{q-1}(p_i^{k-1}-x_i^{k-1})]+c_2{r}_2[{\xi }_q(p_g^k-x_i^k)+{\xi }_{q-1}(p_g^{k-1}-x_i^{k-1})]$$x_i^{k+1}=x_i^k+\alpha ·v_i^{k+1}$$v_i=\left\{\begin{array}{cc}{v}_{max}& v_i>v_{max}\\ -v_{max}& v_i<-v_{max}\end{array}\right.$其中，ξ_q,ξ_q‑1∈Rⁿ，ξ_q成为目标域因子，ξ_q‑1源域因子；特别的，当ξ_q‑1＝0时ξ_q＝1；步骤二)根据群体的收敛程度和个体适应值来动态调整ω，具体方法如下：当f(x_i)＜f(p_i)时，满足此条件的粒子时群体中的一般粒子，具有良好的全局寻优能力和局部寻优能力，惯性权重ω随着搜索的进行按如下公式变化：$\omega ={\omega }_{\min }+({\omega }_{max}-{\omega }_{\min })\frac{k_{max}-k}{k_{max}}$其中，f(x_i)为当前适应度；f(p_i)为历史最好位置适应度；ω_max为搜索开始时最大的ω值，设为0.9；ω_min为搜索结束时最小的ω值，设为0.2；k位迭代所进行的步数；k_max为最大迭代次数；当f(x_i)＜f(p_g)时，满足此条件的粒子是群体中的较优粒子，已经比较接近全局最优，所以应赋予较小的惯性权重，以加速向全局最优收敛，惯性权重ω随着搜索的进行按如下公式变化：$\omega =\omega -(\omega -{\omega }_{\min })\left|\frac{f\left(x_i\right)-f\left(p_i\right)}{f\left(p_g\right)-f\left(p_i\right)}\right|$其中，f(p_g)为群体最好位置适应度；ω_min为搜索结束时最小的ω值，设为0.2，粒子适应值越好，其惯性权重越小，有利于局部寻优；步骤三)基于自适应PSO模型的最小二乘支持向量机算法的流程如下：Step 1：选择合适的训练样本和测试样本并进行预处理；Step 2：初始化粒子群参数，包括微粒的速度和位置，设定粒子群参数，在空间Rⁿ中随机产生m个粒子(x₁,x₂,…,x_m)组成初始种群X(k)；随机产生各粒子x_i的初始速度(v_i1,v_i2,…,v_im)组成速度矩阵V(k)；每个粒子的个体最优值p_i初始值为x_i的初始值；Step 3：用训练样本训练最小二乘支持向量机LS‑SVM，计算每个粒子个体的适应值f(x)，适应值函数为：$f\left(x_i\right)=\frac{1}{l}\underset{i=1}{\overset{l}{\Sigma }}{(y_i-x_i)}^2$式中，x_i为第i个样本的实际值，y_i为第i个样本的预测值，l为测试样本个数，根据粒子的适应度值更新p_id和p_gd；Step 4：对每个粒子，进行相应的比较Step 4.1：比较当前适应度f(x_i)和历史最好位置适应度f(p_i)，若f(x_i)＜f(p_i)时，则p_i＝x_i，并根据式调整ω；Step 4.2：比较群体所有粒子当前适应度f(x_i)和群体最好位置适应度f(p_g)，若f(x_i)＜f(p_g)时，则p_g＝x_i，并根据式调整ω；Step 5：根据改进的PSO模型更新粒子的速度和位置，产生新种群X(k+1)；Step 6：判断速度向量是否满足约束条件‑v_max≤v_i≤v_max，若不满足则按照如下规则调整：$v_i=\left\{\begin{array}{cc}{v}_{max}& v_i>v_{\max }\\ -v_{\max }& v_i<-v_{\max }\end{array}\right.$Step 7：判断适应度值是否满足要求或者是否达到最大迭代次数，若满足停止条件，则寻优结束，将全局最优粒子映射为优化的LS‑SVM模型参数；否则k＝k+1，转至Step 3；Step 8：利用训练样本数据和Step 7得出的参数对LS‑SVM进行求解，得到矩阵方程的最小二乘解，即对应式中最优参数α_i和b。