Growing Brains: Co-emergence of Anatomical and Functional Modularity in Recurrent Neural Networks

要約

構成タスクでトレーニングされたリカレント ニューラル ネットワーク (RNN) は機能モジュール性を示すことができ、アクティビティの類似性と共有の計算サブタスクへの参加によってニューロンをクラスター化できます。
脳とは異なり、これらの RNN は解剖学的モジュール性を示さず、機能クラスター化が強い反復結合および機能クラスターの空間的局在化と相関しています。
入力に一時的に依存する機能的なモジュール性とは対照的に、解剖学的にモジュール化されたネットワークは、将来同じサブタスクを解決するための堅牢な基盤を形成します。
脳のような解剖学的モジュール性を成長させることが可能かどうかを調べるために、一連の構成的な認知タスクを解決するためにトレーニングされているネットワークに、最近の機械学習手法である脳インスピレーション・モジュラー・トレーニング (BIMT) を適用します。
私たちは、機能的および解剖学的クラスター化が同時に出現し、機能的に類似したニューロンも空間的に局在化して相互接続されることを発見しました。
さらに、標準の $L_1$ または正則化設定なしと比較して、このモデルはタスクのパフォーマンスとネットワークのスパース性のバランスを最適化することで優れたパフォーマンスを示します。
RNN で脳のような組織化を実現することに加えて、我々の研究結果は、BIMT がニューロモーフィック コンピューティングへの応用やニューラル ネットワーク アーキテクチャの解釈可能性の向上に有望であることも示唆しています。

要約(オリジナル)

Recurrent neural networks (RNNs) trained on compositional tasks can exhibit functional modularity, in which neurons can be clustered by activity similarity and participation in shared computational subtasks. Unlike brains, these RNNs do not exhibit anatomical modularity, in which functional clustering is correlated with strong recurrent coupling and spatial localization of functional clusters. Contrasting with functional modularity, which can be ephemerally dependent on the input, anatomically modular networks form a robust substrate for solving the same subtasks in the future. To examine whether it is possible to grow brain-like anatomical modularity, we apply a recent machine learning method, brain-inspired modular training (BIMT), to a network being trained to solve a set of compositional cognitive tasks. We find that functional and anatomical clustering emerge together, such that functionally similar neurons also become spatially localized and interconnected. Moreover, compared to standard $L_1$ or no regularization settings, the model exhibits superior performance by optimally balancing task performance and network sparsity. In addition to achieving brain-like organization in RNNs, our findings also suggest that BIMT holds promise for applications in neuromorphic computing and enhancing the interpretability of neural network architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google