Control of synaptic plasticity via the fusion of reinforcement learning and unsupervised learning in neural networks

要約

脳は、さまざまなタスクを迅速かつ効率的に実行することを学習できます。
それにもかかわらず、学習を可能にするメカニズムのほとんどは不明であるか、信じられないほど複雑です。
最近、脳の驚くべき学習能力の背後にある構造とメカニズムを理解し、モデル化するために、神経科学と人工知能においてかなりの努力が払われてきました。
しかし、認知神経科学の現在の理解では、シナプス可塑性が私たちの驚くべき学習能力において重要な役割を果たしていることが広く受け入れられています.
このメカニズムはクレジット割り当て問題 (CAP) としても知られており、神経科学と人工知能 (AI) における基本的な課題です。
神経科学者の観察は、エラー フィードバック システムとシナプス可塑性における教師なし学習を含む 2 つの重要なメカニズムの役割を明確に確認しています。
このインスピレーションにより、強化学習 (RL) と教師なし学習 (UL) の融合による新しい学習規則が提案されます。
提案された計算モデルでは、非線形最適制御理論を使用してエラー フィードバック ループ システムに類似し、出力エラーをニューロン膜電位 (ニューロン状態) に投影し、ニューロン膜電位またはニューロン活動に基づく教師なし学習規則を利用して、
シナプス可塑性ダイナミクスをシミュレートして、出力エラーが最小限に抑えられるようにします。

要約(オリジナル)

The brain can learn to execute a wide variety of tasks quickly and efficiently. Nevertheless, most of the mechanisms that enable us to learn are unclear or incredibly complicated. Recently, considerable efforts have been made in neuroscience and artificial intelligence to understand and model the structure and mechanisms behind the amazing learning capability of the brain. However, in the current understanding of cognitive neuroscience, it is widely accepted that synaptic plasticity plays an essential role in our amazing learning capability. This mechanism is also known as the Credit Assignment Problem (CAP) and is a fundamental challenge in neuroscience and Artificial Intelligence (AI). The observations of neuroscientists clearly confirm the role of two important mechanisms including the error feedback system and unsupervised learning in synaptic plasticity. With this inspiration, a new learning rule is proposed via the fusion of reinforcement learning (RL) and unsupervised learning (UL). In the proposed computational model, the nonlinear optimal control theory is used to resemble the error feedback loop systems and project the output error to neurons membrane potential (neurons state), and an unsupervised learning rule based on neurons membrane potential or neurons activity are utilized to simulate synaptic plasticity dynamics to ensure that the output error is minimized.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google