A Study of Biologically Plausible Neural Network: The Role and Interactions of Brain-Inspired Mechanisms in Continual Learning

要約

タイトル：生物学的に妥当なニューラルネットワークの研究：持続的学習における脳にインスパイアされた機構の役割と相互作用

要約：

– 人間は、絶え間なく変化する環境から情報を獲得し、固定化し、保持する能力に優れていますが、人工ニューラルネットワーク（ANNs）は、壊滅的な忘却を示します。
– 生物学的ニューラルネットワークとその人工的相手のシナプスの複雑さ、情報処理、学習メカニズムには相当な違いがあるため、パフォーマンスの不一致を説明できる可能性があります。
– 唯一興奮性と抑制性のニューロンの別々の集団から構成され、Daleの原則に従う生物学的に妥当なフレームワークを考慮し、興奮性の錐体ニューロンには刺激の文脈に応じた機能を持つ樹状構造が付加されています。
– 続いて、稀な重複のない表現、Hebb学習、シナプスの固定化、過去のアクティベーションのリプレイなど、脳にインスパイアされた異なる機構の役割と相互作用について包括的な研究を行います。
– 私たちの研究は、脳と同様に生物学的に妥当なアーキテクチャに複数の補完的な機構を適用することが、ANNsに持続的な学習を可能にするために効果的である可能性があることを示唆しています。

要約(オリジナル)

Humans excel at continually acquiring, consolidating, and retaining information from an ever-changing environment, whereas artificial neural networks (ANNs) exhibit catastrophic forgetting. There are considerable differences in the complexity of synapses, the processing of information, and the learning mechanisms in biological neural networks and their artificial counterparts, which may explain the mismatch in performance. We consider a biologically plausible framework that constitutes separate populations of exclusively excitatory and inhibitory neurons that adhere to Dale’s principle, and the excitatory pyramidal neurons are augmented with dendritic-like structures for context-dependent processing of stimuli. We then conduct a comprehensive study on the role and interactions of different mechanisms inspired by the brain, including sparse non-overlapping representations, Hebbian learning, synaptic consolidation, and replay of past activations that accompanied the learning event. Our study suggests that the employing of multiple complementary mechanisms in a biologically plausible architecture, similar to the brain, may be effective in enabling continual learning in ANNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI