发明名称 使用对数功能之神经网路及使用此神经网路之方法
摘要 一种可以硬体或软体实施的神经网路由神经元或神经元电路构成,每一神经元或神经元电路仅具有一加法器形式的重要处理元件。每一神经网路进一步包括运用对数功能(logarithmic function)于其输入与运用反对数功能于其神经元输出之装置。神经网路使用不需要重覆训练且对每一所给的输入向量组产生一全域最小值(globalminimum)的训练演算法。
申请公布号 TW386198 申请公布日期 2000.04.01
申请号 TW083111637 申请日期 1994.12.13
申请人 摩托罗拉公司 发明人 王世平
分类号 G06F15/31 主分类号 G06F15/31
代理机构 代理人 陈长文 台北巿敦化北路二○一号七楼
主权项 1.一种用以回应多个网路输入信号而产生至少一网路输出信号之神经网路,该神经网路包括:一对数功能电路,回应该等网路输入信号以产生多个对数输入信号;多个神经元,用以产生多个神经元输出信号,该等神经元各回应该等多个对数输入信号而产生一神经元输出信号;一反对数功能电路,回应该等神经元输出信号以产生多个反对数输出信号;及一加总电路,用以加总该等反对数输出信号而产生该至少一网路输出信号。2.如申请专利范围第1项之神经网路,其中该神经元包括一线性转换功能。3.如申请专利范围第1项之神经网路,其中该神经网路系包含于至少一积体电路。4.如申请专利范围第1项之神经网路,其中该等多个神经元之至少一个包括一闩锁及一加法器。5.如申请专利范围第1项之神经网路,其中该等多个神经元之至少一个包括一计数器及一闩锁。6.如申请专利范围第1项之神经网路,其中该等输入信号并无包括表示经济现象之时间序列资料。7.一种用以回应多个网路输入信号而产生多个网路输出信号之神经网路,该神经网路包括:运用对数功能于该网路输入信号以产生多个对数输入信号之装置;多个神经元电路,用以产生多个神经元输出信号,该等神经元电路各回应该等多个对数输入信号至少其一而产生一神经元输出信号;运用一反对数功能于每一该神经元输出信号以产生多个反对数输出信号之装置;及多个加总电路,该等加总电路各加总预定之该等反对数输出信号以产生该等网路输出信号。8.如申请专利范围第7项之神经网路,其中该等神经元包括一线性转换功能。9.如申请专利范围第7项之神经网路,其中至少有些该等反对数输出可由多于一个之该等加总电路所加总。10.如申请专利范围第7项之神经网路,其中该神经网路系包含于至少一积体电路。11.一种用以回应一序列网路输入信号而产生至少一网路输出信号之神经网路,该神经网路包括:一对数功能电路,用以接收该序列之网路输入连续信号及运用对数功能于各个该等网路输入信号以产生多个对数输入信号;多个神经元电路,用以产生多个神经元输出信号,该等神经元电路各具有至少一输入且产生一神经元输出信号;分配装置,用以分配该等对数输入信号于每一该等神经元电路之至少一输入;一反对数功能电路,用以运用一反对数功能于每一该等神经元输出信号而产生多个反对数输出信号;及一加总电路,用以加总该等反对数输出信号而产生该至少一网路输出信号。12.如申请专利范围第11项之神经网路,其中该等神经元包括一线性转换功能。13.如申请专利范围第11项之神经网路,其中该加总电路包括多个加总器,各加总器加总预定之该等反对数输出信号且产生该等网路输出信号。14.如申请专利范围第13项之神经网路,其中至少有些该等反对数输出信号可由多于一个之该等加总器所加总。15.如申请专利范围第11项之神经网路,其中该神经网路系包含于至少一积体电路。16.一种于神经网路中回应接收之多个网路输入信号而产生至少一网路输出信号之方法,该方法包括下列步骤:(a)运用该网路输入信号于对数功能电路以产生相对应之多个对数输入;(b)分配每一该对数输入于多个神经元;(c)每一该等神经元运用一选通功能于每一该对数输入以产生相对应的多个选通输入;(d)每一该等神经元加总该等选通输入以产生一加总;(e)每一该等神经元把该加总与加权値相加以产生一神经元输出信号,并由此产生多个神经元输出信号;(f)运用每一该等神经元输出信号于反对数功能电路以产生相对应之多个反对数输出;及(g)加总该等反对数输出以至少产生一该网路输出信号。17.如申请专利范围第16项之方法,其中该至少一网路输出信号系根据一多项式展开。18.如申请专利范围第17项之方法,其中该多项式展开具有下列形式:其中y表示神经网路之输出;其中wi-l表示第i个神经元之加权値;其中x1,x2,...xn表示该神经网路之输入;其中gli,...gni表示供运用于该等输入之第i个神经元之选通函数;及其中n为一正整数。19.如申请专利范围第18项之方法,其中各xi系由xi=fi(zj)函数所表示,其中zj为任一变数,且其中指标i与j可以是任何正整数。20.如申请专利范围第18项之方法,其中该至少一网路输出信号系根据该多项式展开之一截断版本。21.如申请专利范围第17项之方法,其中该多项式展开具有下列形式:其中y表示神经网路之输出;其中wi-l表示第i个神经元之加权値;其中xi,xj,xk表示该神经网路之输入;其中n为一正整数;且其中f1(i)至g6(i,j,k)为指标产生之函数。22.如申请专利范围第17项之方法,其中该多项式展开具有下列形式:其中y表示神经网路之输出;其中w0,w1,...wN-1表示加权値,N为一正整数,表示第N个神经元,且wi项通常表示与第i+1个神经元相关之加权値;其中x1,x2,...,xn表示该神经网路之输入,n为一正整数;且其中g1N,...,gnN表示供运用于该等输入之第N个神经元之选通函数。23.如申请专利范围第16项之方法,其中该至少一网路输出信号系根据一正交函数。24.如申请专利范围第23项之方法,其中该正交函数为正弦,余弦,指数,对数,传利叶转换,蓝剑多项式,或是如瓦特利函数或径向基底函数之非线性函数。25.如申请专利范围第16项之方法,其中该至少一网路输出信号系根据一多项式展开及正交函数之组合。26.如申请专利范围第16项之方法,其中该神经网路系包含于至少一积体电路。27.如申请专利范围第16项之方法,其中该神经网路系包含于一电脑程式中。28.一种于神经网路中回应多个网路输入信号而产生至少一网路输出信号之方法,该方法包括下列步骤:(a)运用该等网路输入信号于对数功能以产生多个对数输入;(b)分配每一该对数输入于多个神经元电路;(c)每一该等神经元电路运用一选通功能于每一该等对数输入以产生多个选通输入;(d)每一该等神经元电路把该等选通输入加在一起以产生一加总;(e)每一该等神经元电路把该加总与加权値相加以产生一神经元输出信号,并由此产生多个神经元输出信号;(f)运用该等神经元输出信号于反对数功能以产生多个反对数输出;(g)加总相对应该等多个神经元电路的第一群的该等反对数输出以产生第一个网路输出信号;及(h)加总相对应该等多个神经元电路的第二群的该等反对数输出以产生第二个网路输出信号。29.如申请专利范围第28项之方法,其中于步骤(g)及(h)中至少有些该等神经元可能皆于该等多个神经元之该第一群及第二群中。30.如申请专利范围第28项之方法,其中该第一网路输出信号系根据一多项式展开。31.如申请专利范围第30项之方法,其中该多项式展开具有下列形式:其中y表示神经网路之输出;其中wi-l表示第i个神经元之加权値;其中x1,x2,...xn表示该神经网路之输入;其中gli,...gni表示供运用于该等输入之第i个神经元之选通函数;及其中n为一正整数。32.如申请专利范围第31项之方法,其中各xi系由xi=fi(zj)函数所表示,其中zj为任一变数,且其中指标i与j可以是任何正整数。33.如申请专利范围第31项之方法,其中该第一网路输出信号系根据该多项式展开之一截断版本。34.如申请专利范围第30项之方法,其中该多项式展开具有下列形式:其中y表示神经网路之输出;其中wi-l表示第i个神经元之加权値;其中xi,xj,xk表示该神经网路之输入;其中n为一正整数;且其中f1(i)至f6(i,j,k)为指标产生之函数。35.如申请专利范围第30项之方法,其中该多项式展开具有下列形式:其中y表示神经网路之输出;其中w0,w1,...wN-1表示加权値,N为一正整数,表示第N个神经元,且wi项通常表示与第i+1个神经元相关之加权値;其中x1,x2,...,xn表示该神经网路之输入,n为一正整数;且其中g1N,...,gnN表示供运用于该等输入之第N个神经元之选通函数。36.如申请专利范围第28项之方法,其中该第一网路输出信号系根据一正交函数。37.如申请专利范围第36项之方法,其中该正交函数为正弦,余弦,指数,对数,传利叶转换,蓝剑多项式,或是如瓦特利函数或径向基底函数之非线性函数。38.如申请专利范围第28项之方法,其中该第一网路输出信号系根据一多项式展开及正交函数之组合。39.如申请专利范围第28项之方法,其中该神经网路系包含于至少一积体电路。40.如申请专利范围第28项之方法,其中该神经网路系包含于一电脑程式中。41.一种于神经网路中回应一序列网路输入信号而产生至少一网路输出信号之方法,该方法包括下列步骤:(a)连续运用该等网路输入信号于对数功能电路以产生相对应序列之对数输入信号;(b)分配该等对数输入信号之一于多个神经元电路;(c)每一该等神经元电路运用各别之选通功能于该对数输入信号以产生各别之选通输入;(d)决定是否该对数输入信号相对应于一第一网路输入信号;(i)假如为是,继续进行步骤(e);(ii)假如为否,继续进行步骤(f);(e)每一该等神经元电路把该各别之选通输入与各别之加权値相加以产生一加总,然后回到步骤(b);(f)每一该等神经元电路累积该各别之选通输入于该加总;(g)决定是否所有之该序列对数输入信号皆已分配;(i)假如为是,继续进行步骤(h);(ii)假如为否,回到步骤(b);(h)对于每一该等神经元电路计算该加总以得一神经元输出信号,并由此产生多个神经元输出信号;(i)运用该等多个神经元输出信号于反对数功能电路以产生多个反对数输出信号;及(j)加总相对应该等多个神经元电路的第一群之该等反对数输出信号以产生一第一网路输出信号(y1);及(k)加总相对应该等多个神经元的第二群之该等反对数输出信号以产生一第二网路输出信号(y2)。42.如申请专利范围第41项之方法,其中于步骤(j)及(k)中至少有些该等神经元可能皆于该等多个神经元之该第一群及第二群中。43.如申请专利范围第41项之方法,其中该第一网路输出信号系根据一多项式展开。44.如申请专利范围第43项之方法,其中该多项式展开具有下列形式:其中y表示神经网路之输出;其中wi-1表示第i个神经元之加权値;其中x1,x2,...xn表示该神经网路之输入;其中g1i,...gni表示供运用于该等输入之第i个神经元之选通函数;及其中n为一正整数。45.如申请专利范围第44项之方法,其中各xi系由xi=fi((zj)函数所表示,其中zj为任一变数,且其中指标i与j可以是任何正整数。46.如申请专利范围第44项之方法,其中该第一网路输出信号系根据该多项式展开之一截断版本。47.如申请专利范围第43项之方法,其中该多项式展开具有下列形式:其中y表示神经网路之输出;其中wi-l表示第i个神经元之加权値;其中xi,xj,xk表示该神经网路之输入;其中n为一正整数;且其中f1(i)至f6(i,j,k)为指标产生之函数。48.如申请专利范围第43项之方法,其中该多项式展开具有下列形式:其中y表示神经网路之输出;其中w0,w1,...wN-1表示加权値,N为一正整数,表示第N个神经元,且wi项通常表示与第i+1个神经元相关之加权値;其中x1,x2,...,xn表示该神经网路之输入,n为一正整数;且其中g1N,...,gnN表示供运用于该等输入之第N个神经元之选通函数。49.如申请专利范围第41项之方法,其中该第一网路输出信号系根据一正交函数。50.如申请专利范围第49项之方法,其中该正交函数为正弦,余弦,指数,对数,传利叶转换,蓝剑多项式,或是如瓦特利函数或径向基底函数之非线性函数。51.如申请专利范围第41项之方法,其中该第一网路输出信号系根据一多项式展开及正交函数之组合。52.如申请专利范围第41项之方法,其中该神经网路系包含于至少一积体电路。53.如申请专利范围第41项之方法,其中该神经网路系包含于一电脑程式中。图式简单说明:第一图(FIG.1)根据本发明,展示神经网路的概观图。第二图(FIG.2)展示使用第一图中说明的神经网路的方法之流程图。第三图(FIG.3)根据本发明,展示平行地接收输入且有多个输出的神经网路之概观图。第四图(FIG.4)展示使用第三图中说明的神经网路的方法之流程图。第五图(FIG.5)根据本发明较佳实施例,展示顺序地接收输入且有多个输出的神经网路之概观图。第六图(FIG.6)展示使用第五图中说明的神经网路的方法之流程图。
地址 美国