发明名称 一种基于特征聚类的RBF神经网络建模方法
摘要 一种基于特征聚类的RBF神经网络建模方法,属于自动控制、信息技术和先进制造领域,具体涉及针对数据具有分散特征建模问题的一种基于特征提取函数聚类的RBF神经网络建模方法,其特征在于包括以下步骤:基于已有机理知识定义特征提取函数、采用基于特征提取函数的聚类算法确定RBF网络中心、采用最小二乘方法确定RBF网络隐含层到输出层权值。本发明提出一种基于特征提取函数的聚类算法,该算法不直接对数据本身进行聚类,而是引入基于机理知识的特征提取函数来实现具有分散特征的数据的聚类过程。将所得的聚类中心作为RBF网络中心,再经线性插值方法得到RBF网络隐含层到输出层的权值。本发明可有效处理数据具有分散特征的建模问题,且具有较高的建模精度。
申请公布号 CN101814160A 申请公布日期 2010.08.25
申请号 CN201010119398.2 申请日期 2010.03.08
申请人 清华大学 发明人 刘民;张宇献;董明宇;吴澄
分类号 G06N3/08(2006.01)I 主分类号 G06N3/08(2006.01)I
代理机构 代理人
主权项 1.一种基于特征聚类的径向基函数(RBF)神经网络建模方法,其特征在于,所述方法是在计算机上依次按以下步骤实现的:步骤(1):定义针对特征提取函数聚类的优化目标函数:<maths num="0001"><![CDATA[<math><mrow><mi>J</mi><mo>=</mo><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>c</mi></munderover><munderover><mi>&Sigma;</mi><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></munderover><mi>d</mi><mrow><mo>(</mo><mi>f</mi><mrow><mo>(</mo><msub><mi>x</mi><mi>j</mi></msub><mo>)</mo></mrow><mo>,</mo><mi>f</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>)</mo></mrow></mrow></math>]]></maths>其中,c<sub>i</sub>表示第i类数据的聚类中心,f表示特征提取函数,其可由已有机理知识获得;定义数据的特征提取函数集F<sub>b</sub>={f<sub>1</sub>,f<sub>2</sub>,…,f<sub>b</sub>},在该集合下,可将具有n个样本的数据集X={x<sub>1</sub>,x<sub>2</sub>,…,x<sub>n</sub>}进行聚类,相应聚类问题的优化目标变为<maths num="0002"><![CDATA[<math><mrow><mi>min</mi><mi>J</mi><mo>=</mo><munderover><mi>&Sigma;</mi><mrow><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mi>b</mi></munderover><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>c</mi></munderover><munderover><mi>&Sigma;</mi><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></munderover><mfrac><mn>1</mn><mi>b</mi></mfrac><mi>d</mi><mrow><mo>(</mo><msub><mi>f</mi><mi>k</mi></msub><mrow><mo>(</mo><msub><mi>x</mi><mi>j</mi></msub><mo>)</mo></mrow><mo>,</mo><msub><mi>f</mi><mi>k</mi></msub><mrow><mo>(</mo><msub><mi>c</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>)</mo></mrow></mrow></math>]]></maths>通过求解上述优化问题,可将输入数据集X聚类为c类步骤(2):按下述步骤确定RBF网络中心:(下面给出基于特征提取函数的聚类迭代算法的步骤如下:)步骤(2.1):设定聚类数c,特征提取集F<sub>b</sub>={f<sub>1</sub>,f<sub>2</sub>,…,f<sub>b</sub>},设定一个任意小的迭代截止ε>0,算法的最大迭代次数T<sub>max</sub>,当前迭代次数k=1;步骤(2.2):根据特征提取集F<sub>b</sub>={f<sub>1</sub>,f<sub>2</sub>,…,f<sub>b</sub>}对训练样本集采用常用聚类方法(如模糊C均值聚类方法)进行聚类,计算聚类中心<img file="FSA00000031366600013.GIF" wi="375" he="55" />步骤(2.3):依据本次聚类结果对RBF网络中心进行修正,得到新的RBF网络中心<maths num="0003"><![CDATA[<math><mrow><msup><mi>c</mi><mrow><mi>t</mi><mo>+</mo><mn>1</mn></mrow></msup><mo>=</mo><mo>{</mo><msubsup><mi>c</mi><mn>1</mn><mrow><mi>t</mi><mo>+</mo><mn>1</mn></mrow></msubsup><mo>,</mo><msubsup><mi>c</mi><mn>2</mn><mrow><mi>t</mi><mo>+</mo><mn>1</mn></mrow></msubsup><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><msubsup><mi>c</mi><mi>c</mi><mrow><mi>t</mi><mo>+</mo><mn>1</mn></mrow></msubsup><mo>}</mo><mo>;</mo></mrow></math>]]></maths>步骤(2.4):对全部样本进行完以上步骤(2.2)、步骤(2.3)后,判断所有RBF网络中心前后两次的变化是否小于预先设定的值ε,是则结束聚类过程,否则k=k+1转到步骤(2.2),直至迭代次数达到T<sub>max</sub>;步骤(3):利用最小二乘法进行参数估计,得到隐含层到输出层的权值矩阵基于上述聚类方法确定RBF网络中心,再经线性插值方法得到RBF网络隐含层到输出层的权值,从而得到最终的RBF网络输入输出非线性映射关系,采用最小二乘法进行隐含层到输出层的权值矩阵W的参数估计,W为W=(X<sup>T</sup>X)<sup>-1</sup>X<sup>T</sup>Y其中,X为训练样本经过隐含层非线性变换后的矩阵,Y为输出矩阵。
地址 100084 北京市100084信箱82分箱清华大学专利办公室