发明名称 用以关联一范数至呈现至神经网路输入式样之每一成分之方法及电路
摘要 本发明之方法及电路有助于在距离求值过程中关联一范数至人工神经网路(ANN)输入空间映射演算法之输入式样之每一成分。范数之集合,称为"成分"范数被记忆在ANN内之特殊记忆装置中。在第一实施例中,提供具有一总体记忆体之ANN,ANN之所有神经元所共有的,其记忆所有成分范数。对于输入式样之各成分,所有神经元在距离求值程序使用相关成分范数时以储存在其中之符合的原型成分执行单体的(或局部的)测量。单体距离计算被合并使用一"距离"范数以决定输入式样与神经元中所储存原型之间的最后距离。在另一个实施例中,这组成分范数以神经元形式自我记忆于原型记忆装置内,以致于总体记忆体实际上不再是必需的。当ANN被整合于矽晶片中时,此应用允许将消耗矽区明显地最佳化。
申请公布号 TW538381 申请公布日期 2003.06.21
申请号 TW089118588 申请日期 2000.09.11
申请人 万国商业机器公司 发明人 吉斯廉 英伯特 迪 崔米欧勒斯;帕斯卡 坦霍夫
分类号 G06N3/02 主分类号 G06N3/02
代理机构 代理人 陈长文 台北市松山区敦化北路二○一号七楼
主权项 1.一种改良之人工神经网路(ANN),其适合在计算输入式样与ANN神经元中所储存原型之间最后距离之过程中关联一成分范数至一具有p个成分之输入式样各成分,其包含:-应用输入式样至各神经元之资料-入传送装置;-总体记忆装置以储存p个成分范数且将该p个成分范数应用至各神经元;-复数n个神经元;各神经元包含:--一原型记忆体以储存一原型的p个成分;及--连接至该原型记忆体、该总体记忆装置及该资料-入传送装置之距离求値装置;-用于同时将输入式样成分、以其所相关联之对应成分范数及对应储存原型成分应用至各神经元中该距离求値装置之定址装置;-将一距离范数(D_范数)应用至距离求値装置之装置;其中该距离求値装置适用于执行输入式样之对应成分与使用于此所关联之对应成分范数之储存原型之间单体(或部分)距离计算且适用于在距离计算程序中组合该单体计算以利用一距离范数(D_范数)决定最后距离。2.如申请专利范围第1项之改良之人工神经网路,其中该总体记忆装置包含一为ANN之所有神经元所共用之实体记忆体以记忆称为总体成分范数(G_C_范数)之成分范数。3.如申请专利范围第1项之改良之人工神经网路,其中该总体记忆装置包含一置于各神经元中之专用记忆体以记忆称为区域成分范数(L_C_范数)之成分范数。4.如申请专利范围第1项之改良之人工神经网路,其中该总体记忆装置包含一为ANN之所有神经元所共用之实体总体记忆体以记忆称为总体成分范数(G_C_范数)之成分范数及复数个置于各神经元中之专用记忆体以记忆称为区域成分范数(L_C_范数)之成分范数。5.如申请专利范围第4项之改良之人工神经网路尚包含用于选择G_C_范数或L_C_范数当作C_范数之装置。6.如申请专利范围第1项之改良之人工神经网路,其中应用距离范数(D_范数)之该装置包含一为所有神经元所共用(G_C_范数)之暂存器或一在各神经元(L_D_范数)中之区域暂存器。7.一种改良之人工神经网路(ANN),其适合在计算输入式样与适合被分割成m个群组对应m个不同总体背景之神经元之ANN神经元中所储存之原型之间最后距离的程序中将一成分范数关联至一具有p个成分之输入式样各成分,包含:-应用输入式样至各神经元之资料-入传送装置;-应用一总体背景至各神经元之背景传送装置;-复数m个连接该背景传送装置之总体记忆装置,其适合储存p个具有既定背景之成分范数且经由一C_范数滙流排将该p个成分范数应用至各神经元;各总体记忆装置包含:--一记忆体以储存p个成分范数;及--储存区域背景之装置及回应总体背景且适合与储存在此之一区域背景作一比较以只活化区域背景符合总体背景之神经元且将其他神经元抑制之装置;-复数n个神经元;各神经元包含:--一原型记忆体以储存一原型的p个成分;及--连接至该原型记忆体、该总体记忆装置及该资料-入传送装置之距离求値装置;--储存区域背景之装置及回应总体背景且适合与储存在此之一区域背景作一比较以只活化区域背景符合总体背景之神经元且将其他神经元抑制之装置;-用于同时将输入式样成分、以其所相关联之对应成分范数及对应储存原型成分应用至各神经元中该距离求値装置之定址装置;-将一距离范数(D_范数)应用至距离求値装置之装置;其中该距离求値装置适用于执行输入式样之对应成分与使用于此所关联之对应成分范数之储存原型之间单体(或部分)距离计算且适用于在距离计算程序中组合该单体计算以利用一距离范数(D_范数)决定最后距离。8.一种改良之人工神经网路,其适合在计算输入式样与ANN神经元中所储存之原型之间最后距离的程序中将一成分范数(C_范数)关联至一具有p个成分之输入式样各成分,包含:-应用输入式样至各神经元之资料-入传送装置;-复数n个神经元;各神经元包含:--一能够储存一原型的p个成分或p个成分范数且经由C_范数滙流排将该p个成分范数应用至各神经元之记忆体;--适合将原型成分应用至距离求値装置(标准模式)或经由C_范数滙流排将该p个成分范数应用至各神经元之装置(C_范数模式);--适用于选择模式之装置;及--连接至该原型记忆体、该总体记忆装置及该资料入传送装置之距离求値装置;--储存区域背景之装置及回应总体背景且适合与储存在此之一区域背景作一比较以只活化区域背景符合总体背景之神经元且将其他神经元抑制之装置;-用于同时将输入式样成分、以其所相关联之对应成分范数及对应储存原型成分应用至各神经元中该距离求値装置之定址装置;-适合将一距离范数(D_范数)应用至距离求値装置之装置;-其中该距离求値装置适用于执行输入式样之对应成分与使用于此所关联之对应成分范数之储存原型之间单体(或部分)距离计算且适用于在距离计算程序中组合该单体计算以利用一距离范数(D_范数)决定最后距离。9.一种改良之人工神经网路,其适合在计算输入式样与适合被分割成m个群组对应m个不同总体背景之神经元之ANN神经元中所储存之原型之间最后距离的程序中将一成分范数关联至一具有p个成分之输入式样各成分,包含:-应用输入式样至各神经元之资料-入传送装置;-复数n个神经元;各神经元包含:--一能够储存一原型的p个成分或p个成分范数且经由C_范数滙流排将该p个成分范数应用至各神经元之记忆体;--适合将原型成分应用至距离求値装置(标准模式)或经由C_范数滙流排将该p个成分范数应用至各神经元之装置(C_范数模式);--适用于选择模式之装置;及--连接至该原型记忆体、该总体记忆装置及该资料入传送装置之距离求値装置;--储存区域背景之装置及回应总体背景且适合与储存在此之一区域背景作一比较以只活化区域背景符合总体背景之神经元且将其他神经元抑制之装置;-用于同时将输入式样成分、以其所相关联之对应成分范数及对应储存原型成分应用至各神经元中该距离求値装置之定址装置;-适合将一距离范数(D_范数)应用至距离求値装置之装置;其中该距离求値装置适用于执行输入式样之对应成分与使用于此所关联之对应成分范数之储存原型之间单体(或部分)距离计算且适用于在距离计算程序中组合该单体计算以利用一距离范数(D_范数)决定最后距离。10.一种用于在求该输入式样与使用一距离范数之各神经元原型之间最后距离値之程序中将一成分范数关联至一外部记忆体(主电脑)中所储存输入式样(具有p个成分)各成分且至一人工神经网路(ANN)n个神经元中所储存所有原型对应成分之方法,包含步骤有:a)将各神经元之最后距离値重置为零;b)指向对应一成分之地址;c)提出对应该地址之输入式样成分至各神经元;d)取得对应该地址之成分范数;e)利用各神经元之成分范数计算单体的距离;f)利用各神经元之成分范数更新距离;g)重复步骤b)到f)直到所有的p个成分都已经被处理为止,因此允许各神经元最后距离之求値。11.一种用于在求该输入式样与使用一距离范数之该至少一群组各神经元原型之间最后距离値之程序中将一成分范数关联至一外部记忆体(主电脑)中所储存输入式样(具有p个成分)各成分且至一被分割成复数m个具有各一既定背景之群组之人工神经网路(ANN)n个神经元中所储存至少一个群组原型对应成分之方法,包含步骤有:a)设定一背景値;b)重置为零,各神经元最后距离具有此背景値;c)指向对应至一成分之地址;d)将对应该地址之输入式样成分提供至具有此背景値之各神经元;e)取得对应该地址之成分范数;f)使用具有此背景値之各该神经元成分范数计算单体距离;g)使用具有此背景値之各该神经元成分范数更新距离;h)重复步骤c)到g)直到所有p个成分都已经被处理为止,因此允许具有此背景値之各该神经元最后距离之求値。图式简单说明:图1概要显示根据本发明之改良人工神经网路(ANN)方块架构,其包含一总体记忆体以记忆与输入式样/储存原型之成分有关之该组成分范数及多个神经元。图2是一概述本发明之方法主要步骤之流程图。图3显示图1限制于一个神经元之方块架构,其图例说明总体记忆体之内部组织及一神经元之重要元素。图4说明图1改良ANN之操作以点出在距离求値程序中地址滙流排的角色以计算输入式样与储存原型之间的最后距离,输入式样/储存原型之各成分尽可能具有依不同范数。图5显示图1改良ANN之架构,其已经适合以实现一对应数目之总体记忆体使用于许多背景。图6显示图3之神经元,其依然根据本发明已经被修改以增加内部实现总体记忆体功能之能力。图7显示图1改良ANN合并图6神经元以当该改良ANN被整合在一矽晶片中时最佳化所消耗矽区域之方块架构。图8说明图7改良ANN之操作且别说明当没有背景被实现时功能旗标暂存器之角色。图9说明图7改良ANN之操作且别说明当一个背景被实现时功能旗标暂存器之角色。
地址 美国