一种基于小生境和自适应负相关学的进化神经网络集成方法

摘要

一种基于小生境和自适应负相关学的进化神经网络集成方法，初始化M个网络个体的种群，每个网络个体的隐结点个数，结点间链接的数量和链接的权值都被随机初始化；根据适应度公式，计算种群中每个个体的适应度值；基于小生境的方法选择个体；对选择的个体进行交叉、变异操作，生成父代的子代；使用自适应的负相关学方法更新每个网络个体的链接的权值；计算每个后代的适应度值，并且将子代与父代合并成一个种群；使用精英策略选择个体生成新的种群，并且将新生成的种群的个体按照适应度从高到低进行排序；联结所有网络个体形成网络集成，并对测试集进行分类预测。本发明有效平衡集成中网络个体的精确度和网络个体间的差异度、提升泛化能力。

主权项

一种基于小生境和自适应负相关学习的进化神经网络集成方法，其特征在于：包括如下步骤：步骤1、初始化一个有M个网络个体的种群，种群中每个网络个体的隐结点个数，结点间链接的数量和链接的权值都被随机初始化；步骤2、根据适应度公式，计算种群中每个个体的适应度值；步骤3、基于小生境的方法选择个体；步骤4、对选择的个体进行交叉、变异操作，生成父代的子代；步骤5、使用自适应的负相关学习方法更新每个网络个体的链接的权值，公式如下：$E=\underset{n=1}{\overset{N}{\Sigma }}{\left(f_i\right(x_n)-y_n)}^2-\lambda \underset{n=1}{\overset{N}{\Sigma }}{\left(f_i\right(x_n)-f_{ens}(x_n\left)\right)}^2$$\begin{array}{c}\frac{\partial E}{\partial w_{ij}}=2\underset{n=1}{\overset{N}{\Sigma }}\left(f_i\right(x_n)-y_n)\frac{\partial f_i\left(x_n\right)}{w_{ij}}\\ -2\lambda \underset{n=1}{\overset{N}{\Sigma }}\left(f_i\right(x_n)-f_{ens}(x_n\left)\right)(1-\frac{1}{M})\frac{\partial f_i\left(x_n\right)}{w_{ij}}\end{array}$其中，E是网络个体在负相关学习过程中的错误差，N为训练样本数，f_i(x_n)和y_n分别为网络输出值和目标值，f_ens(x_n)为网络集成的输出值，λ为惩罚项参数，w_ij为网络框架中的权值，M为网络集成中的个体的数量，通过求网络错误差与权值之间的偏导来重新调整权值；步骤6、计算每个后代的适应度值，并且将子代与父代合并成一个种群；步骤7、使用精英策略选择个体生成新的种群，并且将新生成的种群的个体按照适应度从高到低进行排序；步骤8、判断是否到达进化的最大代数，如果是，则进入步骤9，否则返回步骤3；步骤9、联结所有网络个体形成网络集成，并对测试集进行分类预测。