A Recurrent Spiking Network with Hierarchical Intrinsic Excitability Modulation for Schema Learning

要約

転移学習を促進する構造化知識の形式であるスキーマは、神経科学と人工知能 (AI) の両方で注目を集めています。
ニューラル計算における現在のスキーマ研究は、主に単一の動作パラダイムに制約されており、神経的妥当性と生物学的解釈可能性が欠如しているリカレント ニューラル ネットワーク (RNN) に大きく依存しています。
これらの制限に対処するために、この研究ではまずスキーマ学習のための一般化された行動パラダイム フレームワークを構築し、3 つの新しい認知タスクを導入して、包括的なスキーマ探索をサポートします。
第 2 に、階層的固有興奮性変調 (HM-RSNN) を備えたリカレント スパイキング ニューラル ネットワークを使用した新しいモデルを提案します。
モデルの最上位レベルではタスク固有の要求に対する興奮性のプロパティが選択され、最下位レベルではタスク内の問題に合わせてこれらのプロパティが微調整されます。
最後に、HM-RSNN の計算上の利点を示し、スキーマ学習中の固有の興奮性の進化を追跡し、タスク間の神経調整の違いを調べるために、HM-RSNN の広範な視覚化分析が実行されます。
生物学的にインスピレーションを得た病変研究により、スキーマ内の固有の興奮性のタスク固有の分布がさらに明らかになります。
実験結果は、HM-RSNN がすべてのタスクにわたって RSNN ベースラインを大幅に上回り、3 つの新しい認知タスクにおいて RNN を上回ることを示しています。
さらに、HM-RSNN は、スキーマ学習の基礎となるニューラルダイナミクスについてのより深い洞察を提供します。

要約(オリジナル)

Schema, a form of structured knowledge that promotes transfer learning, is attracting growing attention in both neuroscience and artificial intelligence (AI). Current schema research in neural computation is largely constrained to a single behavioral paradigm and relies heavily on recurrent neural networks (RNNs) which lack the neural plausibility and biological interpretability. To address these limitations, this work first constructs a generalized behavioral paradigm framework for schema learning and introduces three novel cognitive tasks, thus supporting a comprehensive schema exploration. Second, we propose a new model using recurrent spiking neural networks with hierarchical intrinsic excitability modulation (HM-RSNNs). The top level of the model selects excitability properties for task-specific demands, while the bottom level fine-tunes these properties for intra-task problems. Finally, extensive visualization analyses of HM-RSNNs are conducted to showcase their computational advantages, track the intrinsic excitability evolution during schema learning, and examine neural coordination differences across tasks. Biologically inspired lesion studies further uncover task-specific distributions of intrinsic excitability within schemas. Experimental results show that HM-RSNNs significantly outperform RSNN baselines across all tasks and exceed RNNs in three novel cognitive tasks. Additionally, HM-RSNNs offer deeper insights into neural dynamics underlying schema learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google