一种混合SVM回归算法的OIN神经网络训练方法

摘要

本发明公开了一种混合SVM回归算法的OIN神经网络训练方法，主要包括以下步骤：OIN前向传播部分；SVM回归部分；OIN后向传播部分；经过多次训练后最终得到一个优化的OIN/SVM混合模型，在测试阶段，将测试样本输入到优化后的OIN/SVM混合模型中，就得到预测结果，从而实现对样本的分类的预测或回归的预测。本发明采用最新设计的OIN人工神经网络训练方法，该方法可以大大提高传统后播算法的收敛性。

主权项

一种混合SVM回归算法的OIN神经网络训练方法，其特征是，主要包括以下步骤：Step(1)：初始化部分，对阿拉伯数字手写体数据集的输入样本值进行归一化，产生初始隐含层权值，并计算出隐含层神经元的输入值，根据隐含层神经元采用的激活函数得到相应的隐含层神经元输出值；所述数据集由0‑9十个数字的3000个手写体样本组成；Step(2)：根据类别数M和原始样本的类别，利用输出重定向OR建立各个原始样本相应的MLP分类训练的M维理想分类向量；Step(3)：根据类别数M建立M个SVM回归分析模型，每个SVM回归分析模型的输入向量是Step(1)得到的隐含层神经元输出值，而每个SVM回归分析模型的理想输出值是Step(2)建立的M维理想分类向量的其中一个元素；Step(4)：SVM回归训练：分别对M个SVM回归分析模型进行训练，得到M个SVM回归分析训练模型；Step(5)：根据训练后的SVM回归分析训练模型进行SVM回归预测；Step(6)：OIN后向传播部分；将Step(5)的SVM回归预测结果进行组合得到一个新的分类向量，并通过比较M维理想分类向量，采用OIN后向传播算法对权值进行调整；Step(7)：迭代下一次训练，根据调整后的新的隐含层权值再回到Step(1)中，计算出新的隐含层神经元输入，继续Step(2)‑(7)，直至训练周期结束或达到理想值时结束；经过反复迭代最终得到一个优化的OIN/SVM混合模型；在测试阶段，将测试样本输入到优化后的OIN/SVM混合模型中，就得到预测结果，从而实现对样本的分类的预测或回归的预测；整合SVM后的OIN，比原始OIN具有更快的收敛性和几乎不变的计算成本。