Modular Boundaries in Recurrent Neural Networks

要約

神経科学における最近の理論的および実験的研究は、神経多様体、つまり多くのニューロンが共活性化する神経活動空間の部分空間の表現的および動的特性に焦点を当てています。
重要なのは、この「神経多様体仮説」に基づいて研究された神経集団は連続的であり、別々の神経集団にきれいに分割されていないことです。
この視点は、神経要素がモジュールと「全か無か」の関係を維持するという脳組織の「モジュール仮説」と衝突します。
このモジュール化仮説に沿って、リカレント ニューラル ネットワークに関する最近の研究では、マルチタスク ネットワークがトレーニング全体にわたってモジュール化され、さまざまなモジュールがタスク全般の動的モチーフに特化するようになることが示唆されています。
モジュール仮説が正しい場合は、モジュール構造を捉える次元削減手法を使用することが重要になります。
ここでは、そのような手法の特徴を調べます。
私たちは RNN をモデル システムとして活用し、モジュール型ニューラル集団の特性を研究します。これには、モジュール性最大化として知られるネットワーク科学のコミュニティ検出手法を使用して、ニューロンを個別のモジュールに分割します。
これらのパーティションにより、次の質問をすることができます。これらのモジュール境界はシステムにとって重要ですか?
…

要約(オリジナル)

Recent theoretical and experimental work in neuroscience has focused on the representational and dynamical character of neural manifolds –subspaces in neural activity space wherein many neurons coactivate. Importantly, neural populations studied under this ‘neural manifold hypothesis’ are continuous and not cleanly divided into separate neural populations. This perspective clashes with the ‘modular hypothesis’ of brain organization, wherein neural elements maintain an ‘all-or-nothing’ affiliation with modules. In line with this modular hypothesis, recent research on recurrent neural networks suggests that multi-task networks become modular across training, such that different modules specialize for task-general dynamical motifs. If the modular hypothesis is true, then it would be important to use a dimensionality reduction technique that captures modular structure. Here, we investigate the features of such a method. We leverage RNNs as a model system to study the character of modular neural populations, using a community detection method from network science known as modularity maximization to partition neurons into distinct modules. These partitions allow us to ask the following question: do these modular boundaries matter to the system? …

arxiv情報

提供元, 利用サービス

arxiv.jp, Google