发明名称 基于构造-剪枝混合优化RBF网络的煤灰熔点预测方法
摘要 本发明公开一种基于构造-剪枝混合优化RBF网络的煤灰熔点预测方法,其特征在于:该方法分为“粗调”和“精调”两个阶段,粗调阶段按照以使能量函数最小为原则动态增加隐节点数目,选取相应的样本输入作为数据中心,直至隐节点数满足停止准则时停止;精调阶段用Gaussian正则化方法对粗调得到的RBF网络的结构和参数作进一步调整;基于煤灰的化学组成成分建立相应的构造-剪枝混合优化RBF网络,并以该网络预测煤灰熔点。本发明给出的构造-剪枝混合优化算法(CPHM),有效地融合了构造算法和剪枝算法的优点,不仅能动态调节RBF网络的隐节点数,还能使网络的数据中心自适应变化;具有较小的结构、较好的泛化能力和较强的鲁棒性。
申请公布号 CN101968832B 申请公布日期 2012.12.19
申请号 CN201010521088.3 申请日期 2010.10.26
申请人 东南大学 发明人 丁维明;魏海坤;吴小丽
分类号 G06F19/00(2011.01)I;G06N3/08(2006.01)I 主分类号 G06F19/00(2011.01)I
代理机构 南京苏高专利商标事务所(普通合伙) 32204 代理人 柏尚春
主权项 1.一种基于构造—剪枝混合优化RBF网络的煤灰熔点预测方法,其特征在于:该方法分为“粗调”和“精调”两个阶段,粗调阶段按照以使能量函数最小为原则动态增加隐节点数目,选取相应的样本输入作为数据中心,直至隐节点数满足停止准则时停止;精调阶段用Gaussian正则化方法对粗调得到的RBF网络的结构和参数作进一步调整,调整对象为数据中心调整、输出权值调整、冗余隐节点删除和正则化系数的动态调整;基于煤灰的化学组成成分建立相应的构造-剪枝混合优化RBF网络,并以该网络预测煤灰熔点;所述粗调具体步骤如下:(A1)先从样本输入中选取网络的第一个数据中心,然后每次增加一个隐节点,逐步调整该数据中心的值,新的隐节点数据中心的选取以使能量函数最小为原则;采用Gaussian 正则化方法时的能量函数为:<img file="2010105210883100001DEST_PATH_IMAGE002.GIF" wi="240" he="29" />(1)其中,<img file="2010105210883100001DEST_PATH_IMAGE004.GIF" wi="125" he="25" />为神经网络的教师输出向量,<img file="DEST_PATH_IMAGE006.GIF" wi="133" he="26" />为权值向量,<img file="DEST_PATH_IMAGE008.GIF" wi="134" he="37" />,<img file="DEST_PATH_IMAGE010.GIF" wi="200" he="25" />为隐节点的响应函数向量,<img file="DEST_PATH_IMAGE012.GIF" wi="16" he="20" />为正则化系数;(A2)当下式满足时,停止粗调:<img file="DEST_PATH_IMAGE014.GIF" wi="132" he="28" />(3)其中,<img file="DEST_PATH_IMAGE016.GIF" wi="124" he="25" />为矩阵A的条件数,<img file="DEST_PATH_IMAGE018.GIF" wi="37" he="22" />为Frobenius范数;<img file="DEST_PATH_IMAGE020.GIF" wi="161" he="38" />,<img file="142376DEST_PATH_IMAGE010.GIF" wi="200" he="25" />为隐节点的响应函数向量,<img file="DEST_PATH_IMAGE022.GIF" wi="200" he="29" />为新增隐节点的响应函数向量,<img file="DEST_PATH_IMAGE024.GIF" wi="21" he="25" />为新隐节点的数据中心;<img file="DEST_PATH_IMAGE026.GIF" wi="36" he="25" />是一个需预先确定的量;选取网络的第一个数据中心的方法为:从样本输入中选择某一<img file="DEST_PATH_IMAGE028.GIF" wi="22" he="26" />,使相应的<img file="DEST_PATH_IMAGE030.GIF" wi="18" he="26" />在<img file="DEST_PATH_IMAGE032.GIF" wi="20" he="22" />上的投影最大,即:<img file="DEST_PATH_IMAGE034.GIF" wi="216" he="28" />(2)其中,<img file="DEST_PATH_IMAGE036.GIF" wi="280" he="41" />为以<img file="121833DEST_PATH_IMAGE028.GIF" wi="22" he="26" />为数据中心的新增隐节点的响应函数向量,<img file="589986DEST_PATH_IMAGE004.GIF" wi="125" he="25" />为神经网络的教师输出向量;所述精调具体步骤如下:(B1)数据中心调整:调节数据中心,对样本<img file="DEST_PATH_IMAGE038.GIF" wi="52" he="26" />,数据中心<img file="DEST_PATH_IMAGE040.GIF" wi="18" he="25" />的调节量为:<img file="DEST_PATH_IMAGE042.GIF" wi="257" he="46" />(4)其中,<img file="DEST_PATH_IMAGE044.GIF" wi="18" he="18" />为学习率,<img file="DEST_PATH_IMAGE046.GIF" wi="17" he="25" />为RBF函数的扩展常数,<img file="109829DEST_PATH_IMAGE040.GIF" wi="18" he="25" />为已有的数据中心,<img file="DEST_PATH_IMAGE048.GIF" wi="77" he="26" />为Gaussian型径向基函数,<img file="DEST_PATH_IMAGE050.GIF" wi="44" he="26" />为神经网络对应样本输入<img file="861885DEST_PATH_IMAGE028.GIF" wi="22" he="26" />的输出,<img file="DEST_PATH_IMAGE052.GIF" wi="22" he="25" />为该隐节点前一时刻的输出权值;第<img file="DEST_PATH_IMAGE054.GIF" wi="13" he="21" />个隐节点的调节公式为:<img file="DEST_PATH_IMAGE056.GIF" wi="164" he="41" />(5)其中,<img file="372763DEST_PATH_IMAGE040.GIF" wi="18" he="25" />为已有的数据中心,<img file="DEST_PATH_IMAGE058.GIF" wi="72" he="26" />为数据中心<img file="577479DEST_PATH_IMAGE040.GIF" wi="18" he="25" />的调节量,<img file="DEST_PATH_IMAGE060.GIF" wi="262" he="30" />为参与调节的目标样本,<img file="DEST_PATH_IMAGE062.GIF" wi="16" he="14" />为重叠系数,<img file="963330DEST_PATH_IMAGE046.GIF" wi="17" he="25" />为RBF函数的扩展常数;(B2)输出权值调整:当网络的数据中心确定后,最优权值可通过最小化能量函数直接得到,即<img file="DEST_PATH_IMAGE064.GIF" wi="158" he="26" />(6)其中,<img file="632209DEST_PATH_IMAGE052.GIF" wi="22" he="25" />为第<img file="563255DEST_PATH_IMAGE054.GIF" wi="13" he="21" />个隐节点到输出节点的权值,<img file="DEST_PATH_IMAGE066.GIF" wi="17" he="22" />是输出偏移常数;(B3)冗余隐节点删除:通过正则化方法,当某隐节点输出权值<img file="DEST_PATH_IMAGE068.GIF" wi="25" he="25" />满足以下条件时,则删除该隐节点:<img file="DEST_PATH_IMAGE070.GIF" wi="100" he="25" />(7)其中,<img file="DEST_PATH_IMAGE072.GIF" wi="32" he="24" />为临界权值;(B4)正则化系数<img file="943683DEST_PATH_IMAGE012.GIF" wi="16" he="20" />的动态调整:每次数据中心调整后,随之对<img file="DEST_PATH_IMAGE074.GIF" wi="18" he="22" />进行调节,具体调节规则如下:(1). 如果<img file="DEST_PATH_IMAGE076.GIF" wi="97" he="24" />,或者<img file="DEST_PATH_IMAGE078.GIF" wi="64" he="24" />,则<img file="DEST_PATH_IMAGE080.GIF" wi="129" he="24" />;(2). 如果<img file="DEST_PATH_IMAGE082.GIF" wi="97" he="24" />,<img file="DEST_PATH_IMAGE084.GIF" wi="77" he="24" />,而且<img file="DEST_PATH_IMAGE086.GIF" wi="64" he="24" />,则<img file="DEST_PATH_IMAGE088.GIF" wi="129" he="24" />;(3). 如果<img file="DEST_PATH_IMAGE090.GIF" wi="96" he="24" />,<img file="DEST_PATH_IMAGE092.GIF" wi="76" he="24" />,而且<img file="493745DEST_PATH_IMAGE086.GIF" wi="64" he="24" />,则<img file="DEST_PATH_IMAGE094.GIF" wi="104" he="24" />;其中,<img file="DEST_PATH_IMAGE096.GIF" wi="53" he="24" />为前一次数据中心调节时的误差,<img file="DEST_PATH_IMAGE098.GIF" wi="18" he="17" />为期望误差值,<img file="DEST_PATH_IMAGE100.GIF" wi="32" he="24" />为当前时刻的加权平均误差,定义为<img file="DEST_PATH_IMAGE102.GIF" wi="186" he="24" />,<img file="DEST_PATH_IMAGE104.GIF" wi="17" he="18" />、<img file="DEST_PATH_IMAGE106.GIF" wi="20" he="18" />均为接近于1的数。
地址 210096 江苏省南京市四牌楼2号