Range, not Independence, Drives Modularity in Biologically Inspired Representations

要約

なぜ生物学的および人工ニューロンが時々モジュール化され、それぞれが単一の意味のある変数をエンコードし、時には多くの変数の表現を巻き込むのですか？
この作業では、生物学的にインスパイアされたネットワーク（非陰性でエネルギー効率の高いネットワーク）が、ソース変数（ソース）の表現をモジュール化するときの理論を開発します。
生物学的にインスパイアされた最適な線形自動エンコーダーモジュラー化のニューロンがかどうかを判断するソースのサンプルに必要かつ十分な条件を導き出します。
私たちの理論は、以前の研究で研究された統計的独立性の場合をはるかに超えて、任意のデータセットに適用されます。
むしろ、サポートが「十分に広がっている」場合、ソースがモジュール化されていることを示します。
この理論から、データ分布が非線形フィードフォワードおよび再発性ニューラルネットワークのモジュール化にどのように影響するかについてのさまざまな経験的研究で予測を抽出および検証します。
さらに、これらのアイデアを神経科学データに適用し、範囲の独立性を使用して、一見矛盾する実験における偏見記録における空間記録と報酬情報の混合またはモジュラー化を理解できることを示しています。
さらに、これらの結果を使用して、柔軟な非線形分類の主な理論を超えて、混合選択性の代替起源を示唆しています。
要するに、私たちの理論は、神経活動がモジュール化される時期の正確な条件を規定しており、脳と機械のモジュラー表現を誘導および解明するためのツールを提供します。

要約(オリジナル)

Why do biological and artificial neurons sometimes modularise, each encoding a single meaningful variable, and sometimes entangle their representation of many variables? In this work, we develop a theory of when biologically inspired networks — those that are nonnegative and energy efficient — modularise their representation of source variables (sources). We derive necessary and sufficient conditions on a sample of sources that determine whether the neurons in an optimal biologically-inspired linear autoencoder modularise. Our theory applies to any dataset, extending far beyond the case of statistical independence studied in previous work. Rather we show that sources modularise if their support is “sufficiently spread”. From this theory, we extract and validate predictions in a variety of empirical studies on how data distribution affects modularisation in nonlinear feedforward and recurrent neural networks trained on supervised and unsupervised tasks. Furthermore, we apply these ideas to neuroscience data, showing that range independence can be used to understand the mixing or modularising of spatial and reward information in entorhinal recordings in seemingly conflicting experiments. Further, we use these results to suggest alternate origins of mixed-selectivity, beyond the predominant theory of flexible nonlinear classification. In sum, our theory prescribes precise conditions on when neural activities modularise, providing tools for inducing and elucidating modular representations in brains and machines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google