用以强化学之装置、系统及电脑程式产品

摘要

明具体实施例提供用以强化学之电子突触装置。电子突触系组态以互连一突触前电子神经元及一突触后电子神经元。电子突触包含组态以储存电子突触之一状态以及储存用以更新电子突触之状态之元资讯的记忆体元件。电子突触更包含一更新模组，其系组态以基于元资讯更新电子突触之状态，以回应针对强化学之一更新讯号。更新模组系组态以基于元资讯更新电子突触之状态，以回应基于学规则之针对强化学的一延迟更新讯号。

主权项

一种装置，包含：一电子突触，组态以互连一突触前(pre-synaptic)电子神经元及一突触后(post-synaptic)电子神经元，该电子突触包含：一第一记忆体元件，维持用以读取的一第一位元，其中该第一位元表示该电子突触之一状态；额外的记忆体元件，维持用以更新该电子突触之该状态之元资讯(meta information)，其中该元资讯包括一第二位元和第三位元以分别地设定或重新设定该电子突触之该状态基于一学习规则以强化学习；以及一更新模组，组态以：从该等额外的记忆体元件中读取该元资讯，以回应用以强化学习的一更新讯号；基于该元资讯更新在该第一记忆体元件中的该电子突触之该状态，以回应一更新讯号；其中该元资讯是分别地基于该突触前神经元及一突触后神经元的一突触前神经元尖峰讯号及一突触后神经元尖峰讯号；其中该电子突触之该状态是基于该元资讯而设定或重新设定。