基于波形叠加布谷鸟优化的极限学机分类方法

摘要

本发明为一种基于波形叠加布谷鸟优化的极限学机分类方法，主要步骤为：Ⅰ、建立训练样本矩阵；Ⅱ、在每个隐层节点上生成M个初始寄生巢；Ⅲ、求波形叠加极限学机分类模型的分类准确度；Ⅳ、训练样本随机等分为份，求交叉验证的极限学机分类模型的分类准确度输出值；Ⅴ、用反双曲线正弦函数和Morlet小波函数叠加作为极限学机的激励函数，构建波形叠加极限学机分类模型，得布谷鸟算法当前代分类准确度；Ⅵ、求布谷鸟算法的下一代结果，以概率P_a新建寄生巢；Ⅶ、重复迭代，判断是否终止迭代，满足终止条件则建立最佳极限学机分类模型，用于对于未知样本进行分类。本方法计算复杂度低，效率高，分类性能稳定精度高，全局最优、性泛化能力强。

主权项

一种基于波形叠加布谷鸟优化的极限学习机分类方法，其特征在于包括如下步骤:步骤Ⅰ、训练样本的矩阵在N个样本集中抽取N₀个样本作为训练样本，N₀≥50，输入训练样本的矩阵为(x_j,y_j)，j＝1,2,…,N₀，x_j＝[x_j1,x_j2,…,x_jn]^T∈Rⁿ，y_j＝[y_j1,y_j2,…,y_jm]^T∈R^m，其中T表示转置，R为实数集合，m和n表示样本的特征维数；x_j表示训练样本，y_j表示训练样本的分类标签，设定不同类别的不同输出标签值；隐层节点的数目为步骤Ⅱ、生成初始寄生巢使用布谷鸟寻优算法随机初始化值域为[‑0.5，0.5]输入节点的隐层节点权重w_k以及隐层神经元的阈值b_k，同时在每个隐层节点上生成M个初始寄生巢ω_ik和b_ik，i＝1,2,…,M，初始寄生巢数为M>1；步骤Ⅲ、求波形叠加极限学习机分类模型的分类准确度本方法的波形叠加极限学习机分类模型的表达式为：$f\left(x\right)=\underset{k=1}{\overset{\hat{N}}{\Sigma }}{\beta }_k\bar{f}(\theta ,\psi )({\omega }_{\mathrm{ik}}·x+b_{\mathrm{ik}}),$j＝1,2,…,N₀，i＝1,2,…,M，其中$\bar{f}=\frac{1}{2}(f_1+f_2),$θ(t)＝arcsinh(t)，$\psi \left(t\right)=\frac{1}{\sqrt[4]{\pi }}{e}^{{\mathrm{jw}}_{0}t}{e}^{(-t^2/k_0)},$w₀≥5且k₀≥2，β_k为波形叠加极限学习机分类模型系数，所述f₁为反双曲线正弦函数，$f_1=\theta \left(t\right)=\mathrm{arcsinh}\left(t\right)={\int }_0^t\frac{\mathrm{dx}}{{(1+x^2)}^{1/2}},$f₂为Morlet小波函数，$f_2=\psi \left(t\right)=\frac{1}{\sqrt[4]{\pi }}{e}^{{\mathrm{jw}}_{0}t}{e}^{(-t^2/k_0)}\approx \cos \left(w_{0}t\right)e^{(-{0.5t}^2)},$本方法取$f_2=\cos \left(w_{0}t\right)e^{(-{0.5t}^2)},$波形叠加双激励函数为$\bar{f}=\frac{1}{2}(\mathrm{arcsinh}\left(t\right)+\cos \left(w_{0}t\right)e^{\left({-0.5t}^2\right)});$基于波形叠加极限学习机的矩阵表示为：H_avgβ_k＝Y，其中$H_{\mathrm{avg}}=\bar{f}(\theta ,\psi ){\left[\begin{array}{ccc}g(w_1·x_1+b_1)& ···& g(w_{\hat{N}}·x_1+b_{\hat{N}})\\ ·& & ·\\ ·& ···& ·\\ ·& & ·\\ g(w_1·x_N+b_1)& ···& g(w_{\hat{N}}·x_N+b_{\hat{N}})\end{array}\right]}_{N\times \hat{N}}=\bar{f}(\theta ,\psi ,H),$其中$\beta ={\left[\begin{array}{c}{\beta }_1^T\\ ·\\ ·\\ ·\\ {\beta }_{\hat{N}}^T\end{array}\right]}_{\hat{N}\times m},T={\left[\begin{array}{c}{t}_1^T\\ ·\\ ·\\ ·\\ t_{\hat{N}}^T\end{array}\right]}_{N\times m}H={\left[\begin{array}{ccc}g(w_1·x_1+b_1)& ···& g(w_{\hat{N}}·x_1+b_{\hat{N}})\\ ·& & ·\\ ·& ···& ·\\ ·& & ·\\ g(w_1·x_N+b_1)& ···& g(w_{\hat{N}}·x_N+b_{\hat{N}})\end{array}\right]}_{N\times \hat{N}}=G(a,b,x),$则最小输出权重矩阵其中为神经网络的隐层输出矩阵H的Moore‑penrose逆，由广义逆定理通过奇异值分解求得本步骤先将训练样本(x_j,y_j)、权重w_k以及阈值b_k输入波形叠加极限学习机分类模型的表达式中，求出最小输出权重矩阵然后将测试样本x_j、模型参数隐层节点权重w_k以及隐层神经元的阈值b_k输入波形叠加极限学习机分类模型的表达式中，获取新的波形叠加极限学习机分类模型的分类标签值y′_j；最后得到训练样本(x_j,y_j)分类准确度为i＝1,2,…,M；步骤Ⅳ、交叉验证Ⅳ‑1、将N₀个训练样本随机等分为份，为N₀的因数，Ⅳ‑2、从份训练样本中抽取一份个样本作为交叉验证测试样本(x_lq,y_lq)，其中第q次交叉验证测试样本的分类标签为{y_1q,y_2q,…,y_lq}；剩余份个样本作为交叉验证训练样本，Ⅳ‑3、将剩余份交叉验证训练样本和寄生巢ω_ik和b_ik输入波形叠加极限学习机分类模型中，得到最小输出权重矩阵Ⅳ‑4、将抽取的一份个交叉验证测试样本的x_lq、最小输出权重矩阵以及寄生巢ω_ik和b_ik输入波形叠加极限学习机分类模型的表达式中得到该分类模型输出的分类标签值为y′_lq；记录第q次交叉验证的波形叠加极限学习机分类模型输出的分类标签值{y′_1q,y′_2q,…,y′_lq}；步骤Ⅳ‑3所得波形叠加极限学习机分类模型输出的分类标签值y′_lq等于该交叉验证测试样本的分类标签y_lq的个数count{y′_lq＝y_lq}、与交叉验证测试样本个数之比即为波形叠加极限学习机分类模型第q次交叉验证的分类准确度；Ⅳ‑5、重复步骤次；求所得到个分类准确度的算术平均值$\bar{f}(x_{\mathrm{lq}},{\omega }_{\mathrm{ik}},b_{\mathrm{ik}})=\frac{1}{\hat{M}}\underset{q=1}{\overset{\hat{M}}{\Sigma }}(\frac{\mathrm{count}\{y_{\mathrm{lq}}^{\prime }=y_{\mathrm{lq}}\}}{\frac{N_0}{\hat{M}}}*100\%),l=\mathrm{1,2},···,\frac{N_0}{\hat{M}},q=\mathrm{1,2},···,\hat{M},$为N₀个训练样本倍交叉验证的波形叠加极限学习机分类模型的分类准确度输出值；步骤Ⅴ、求目标函数求步骤Ⅲ所得的训练样本分类准确度为f_i(x_j,ω_ik,b_ik)和步骤Ⅳ所得的训练样本交叉验证的输出值二者平均值的公式作为目标函数，即目标函数为：$Y_i^{\left(n_0\right)}=\frac{1}{2}[f_i+{\bar{f}}_i],$i＝1,2,…,M，其中$Y_i^{\left(n_0\right)}=\{Y_1,Y_2,···,Y_M\}$为布谷鸟算法第n₀代目标函数的结果，n₀为迭代的次数，设置布谷鸟算法的最大迭代次数为M_n，其中$1\le n_0\le \frac{M_n}{M};$步骤Ⅵ、求布谷鸟算法的下一代结果Ⅵ‑1、步骤Ⅴ得到布谷鸟算法的第n₀代目标函数结果对比该组M个寄生巢中目标函数值，将目标函数值最高对应的寄生巢ω′_ik和b′_ik作为当前代最优寄生巢保留；采用莱维飞行的理论、求该组中剩余的M‑1个寄生巢对应的M‑1个临近寄生巢和并对比M‑1个寄生巢和其对应临近寄生巢的目标函数值大小；如果临近寄生巢的目标函数值大于其对应寄生巢的目标函数值，临近寄生巢替代原位置的寄生巢；反之，保留原位置的寄生巢；Ⅵ‑2、布谷鸟所选寄生巢的宿主鸟发现外来鸟蛋并另建一个新巢的概率为P_a，P_a值域为[0,1]，即以概率P_a随机新建M*P_a个寄生巢ω_ik和b_ik，并随机替代步骤Ⅵ‑1所得的除当前代最优寄生巢以外的其它M‑1个寄生巢中的M*P_a个；将步骤Ⅵ‑2处理所得的M‑1个寄生巢和步骤Ⅵ‑1保留的最优寄生巢一起作为下一代的寄生巢，按照步骤Ⅲ～Ⅴ求布谷鸟算法的下一代目标函数结果步骤Ⅶ、建立最佳波形叠加极限学习机分类模型按照步骤Ⅲ～Ⅵ重复迭代，每一代求得目标函数的分类准确度多次迭代后，当目标函数值达到100％，停止迭代，以此时的寄生巢为最优的寄生巢ω′_ik和b′_ik；若目标函数值未达到100％，继续重复步骤III～VI，当达到最大迭代次数M_n后，结束迭代，以此时满足目标函数值最大的寄生巢为最优的寄生巢ω′_ik和b′_ik；将最优寄生巢的ω′_ik和b′_ik带入f(x)中，构建最佳波形叠加极限学习机分类模型，$f\left(x\right)=\underset{k=1}{\overset{\hat{N}}{\Sigma }}\widehat{{\beta }_k}\bar{f}(\theta ,\psi )({\omega }_{\mathrm{ik}}^{\prime }·x+b_{\mathrm{ik}}^{\prime })$此分类模型即可用于对于未知样本进行分类。