LS-SVM分类与回归学递归神经网络硬件电路及实现方法

摘要

本发明公开了一种LS-SVM分类与回归学递归神经网络硬件电路及其实现方法，该方法将LS-SVM与递归神经网络相结合，推导出描述神经网络的动态方程及其拓扑结构，并进一步建立了实现上述递归神经网络的硬件电路，从而用硬件电路对最小二乘支持向量机算法进行实现。本发明所述的LS-SVM分类与回归学递归神经网络与以往出现的网络相比，消除了网络中的非线性部分，神经网络结构更加简洁，大幅度的提高支持向量机的训练速度；同时本发明提出的LS-SVM学神经网络可以在几乎不改变拓扑结构的基础上实现分类和回归两种问题。

主权项

1.一种LS-SVM分类与回归学习递归神经网络的实现方法，其特征在于：该方法按以下步骤实施，步骤1：根据样本数量构造LS-SVM分类或回归学习递归神经网络的拓扑结构；1)、分别建立LS-SVM分类学习递归神经网络模型和LS-SVM回归学习递归神经网络模型，γ为LS-SVM的惩罚因子；所述的LS-SVM分类学习递归神经网络模型的建立包括，给定分类训练集(z_i，y_i)，i＝1，…，N，其中z_i∈R^N为训练样本，而y_i∈{-1，+1}为样本相对应的类别，其分类决策面表示为其中w为权值矩阵，b为偏移量，e_i为误差值，表示从输入空间到特征空间的非线性映射，LS-SVM分类学习即是解决下面的受约束的最优化问题：$\underset{w,b,e}{\min }J(w,e)=\frac{1}{2}{w}^{T}w+\gamma \frac{1}{2}\underset{i=1}{\overset{N}{\Sigma }}{e}_i^2---\left(1\right)$求解该问题时引入Lagrange函数：其中α_i为Lagrange乘子，分别对各参数求偏导得到该问题的最优条件，消去w和e_i得出：$1-b{y}_i-\underset{j=1}{\overset{N}{\Sigma }}{\alpha }_j{q}_{\mathrm{ij}}-{\gamma }^{-1}{\alpha }_i=0---\left(4\right)$$\underset{i=1}{\overset{N}{\Sigma }}{\alpha }_i{y}_i=0---\left(5\right)$其中q_ij＝y_iy_jK_ij，并且定义为核函数，当核函数满足Mecer条件，并且对称阵Q_c＝[q_ij]是正定的，则该问题是一个最优化的凸问题，并且只有一个全局解，所述的LS-SVM分类学习神经网络模型由下面的动态方程来描述：$\stackrel{.}{b}=\underset{i=1}{\overset{N}{\Sigma }}{\alpha }_i{y}_i---\left(6\right)$${\stackrel{.}{\alpha }}_i=1-{\mathrm{by}}_i-\underset{j=1}{\overset{N}{\Sigma }}{\alpha }_j{q}_{\mathrm{ij}}-{\gamma }^{-1}{\alpha }_i---\left(7\right)$该动态方程(6)(7)在平衡点处即满足最优化条件(4)(5)，即所提出的神经网络在平衡点处是满足KKT条件的，这样当所提出的动态网络收敛到平衡点时，就能求解LS-SVM问题，方程(6)(7)用递归神经网络来实现，选取τ＝1，由此得出：$\tau {\stackrel{.}{v}}_{{\alpha }_i}=1-\underset{i=1}{\overset{N}{\Sigma }}{v}_{{\alpha }_j}{q}_{\mathrm{ij}}-\frac{1}{\gamma }{v}_{{\alpha }_i}-v_b{y}_i---\left(8\right)$所述的LS-SVM回归学习神经网络模型的建立包括，给定训练集(z_i，y_i)，i＝1，…，N，其中z_i∈R^N，y_i∈R，与分类问题相似回归函数为LS-SVM回归问题即解决如下的优化问题：$\underset{w,b,e}{\min }J(w,e)=\frac{1}{2}{w}^{T}w+\gamma \frac{1}{2}\underset{i=1}{\overset{N}{\Sigma }}{e}_i^2---\left(9\right)$s.t.y_i＝w^Tφ(x_i)+b+e_i                (10)同样构建Lagrange函数：其中α_i为Lagrange乘子，由KKT条件和与分类类似的推导得到问题最优必须满足：$\underset{i=1}{\overset{N}{\Sigma }}{\alpha }_i=0---\left(12\right)$$b+\underset{j=1}{\overset{N}{\Sigma }}{\alpha }_j{\Omega }_{\mathrm{ij}}+{\gamma }^{-1}{\alpha }_i-y_i=0---\left(13\right)$上式中Q_R＝[Ω_ij]＝K(x_i，x_j)＝φ(x_i)^Tφ(x_j)定义为核函数，所述的回归网络模型由以下动态方程描述：$\stackrel{.}{b}=\frac{\partial J}{\partial b}=\underset{i=1}{\overset{N}{\Sigma }}{\alpha }_i---\left(14\right)$${\stackrel{.}{\alpha }}_i=-\frac{\partial J}{\partial {\alpha }_i}=-b-\underset{j=1}{\overset{N}{\Sigma }}{\alpha }_j{\Omega }_{\mathrm{ij}}-{\gamma }^{-1}{\alpha }_i+y_i---\left(15\right)$该动态方程(14)(15)描述的系统在平衡点处即满足原问题的KKT条件(12)(13)，2)、建立LS-SVM分类学习递归神经网络拓扑结构和LS-SVM回归学习递归神经网络拓扑结构，所述的LS-SVM分类学习递归神经网络的拓扑结构的实现方法是，将方程(6)(7)用递归神经网络来实现，其中对应于拓扑结构中的α_i；v_b对应于偏移量b；γR₀对应于积分器的反馈结构；R₀/|q_ij|对应于连接权值q_ij部分，该电路采用多个输入的线性积分器来实现加法和积分环节，运算放大器工作在线性状态，在数值上，v_b＝b，q_ij的正负性通过来体现；对于整个电路，若有N个训练样本，则需要N+1个运算放大器和N(N+3)个连接电阻；LS-SVM分类问题的惩罚因子γ的调整通过调整电阻γR₀来实现，所述的LS-SVM分类学习递归神经网络硬件电路是，为对应的拉格朗日乘子α_i的值，电压-1V以及v_by_i通过各自的连接电阻同时与积分器的输入端连接，电压-1V以及v_by_i与积分器的连接电阻分别为R₀/|q_ij|、γR₀、R₀、R₀，该积分器是由运算放大器与电容C并联而成，积分器的一个输出电路输出端为电压积分器的另外一个输出电路中连接有一反向器，该反向器的输出端为电压电压再经电阻R₀/|q_ij|反馈到相应的积分器输入端；所述的LS-SVM回归学习递归神经网络的拓扑结构的实现方法是，将方程(14)(15)用递归神经网络来实现，其中对应于拓扑结构中的α_i；v_b对应于偏移量b；γR₀对应于积分器的反馈结构；R₀/|Ω_ij|对应于连接权值Ω_ij；对应于y_i，在数值上，v_b＝b，对于LS-SVM回归问题的惩罚因子γ的调整则通过调整电阻γR₀来实现，所述的LS-SVM回归学习递归神经网络硬件电路是，电压以及v_b同时与积分器的输入端连接，电压以及v_b与积分器的连接电阻分别为R₀/|Ω_ij|、γR₀、R₀、R₀；积分器由运算放大器与电容C并联组成，该积分器的输出端为电压电压再通过电阻R₀/|Ω_ij|与相应的积分器输入端连接；步骤2：根据步骤1的LS-SVM分类或回归学习情况选用相应的核函数，并选择对应的核函数参数，如果是SVM分类学习递归神经网络，则选用下式计算如果是SVM回归学习递归神经网络，则选用下式计算Ω_ij＝K(x_i，x_j)＝φ(x_i)^Tφ(x_j)；步骤3：根据步骤1建立的LS-SVM分类或回归学习递归神经网络拓扑结构选择相应的模块进行仿真计算；步骤4：选择电路元件参数，计算各权值电阻R₀/|q_ij|，且采用四舍五入的方式选择尽量逼近的标称阻值；步骤5：根据步骤1建立的分类与回归学习递归神经网络的拓扑结构制作相应的硬件电路。