How connectivity structure shapes rich and lazy learning in neural circuits

要約

理論神経科学では、最近の研究では深層学習ツールを活用して、一部のネットワーク属性がその学習ダイナミクスにどのように決定的に影響を与えるかを調査しています。
特に、分散が小さい（または大きい）初期の重み分布は、学習の過程でネットワークの状態と表現に対する重大な（または小さな）変化が観察される、リッチな（または怠惰な）レジームを生み出す可能性があります。
ただし、生物学では、神経回路の接続性は一般に低ランクの構造を持っているため、これらの研究で一般的に使用されるランダムな初期化とは著しく異なります。
そのため、ここでは初期重みの構造、特にその有効ランクがネットワーク学習体制にどのような影響を与えるかを調査します。
経験的分析と理論的分析の両方を通じて、高ランクの初期化は通常、遅延学習を示す小さなネットワーク変化をもたらすことを発見しました。この発見はリカレント ニューラル ネットワークにおける実験主導の初期接続でも確認されています。
逆に、低ランクの初期化では、学習がよりリッチな学習に偏ります。
ただし重要なのは、このルールの例外として、タスクとデータの統計に合わせた低ランクの初期化でも遅延学習が発生する可能性があることです。
私たちの研究は、可塑性の代謝コストと壊滅的な忘却のリスクを伴う、学習体制の形成における初期重み構造の極めて重要な役割を強調しています。

要約(オリジナル)

In theoretical neuroscience, recent work leverages deep learning tools to explore how some network attributes critically influence its learning dynamics. Notably, initial weight distributions with small (resp. large) variance may yield a rich (resp. lazy) regime, where significant (resp. minor) changes to network states and representation are observed over the course of learning. However, in biology, neural circuit connectivity generally has a low-rank structure and therefore differs markedly from the random initializations generally used for these studies. As such, here we investigate how the structure of the initial weights, in particular their effective rank, influences the network learning regime. Through both empirical and theoretical analyses, we discover that high-rank initializations typically yield smaller network changes indicative of lazier learning, a finding we also confirm with experimentally-driven initial connectivity in recurrent neural networks. Conversely, low-rank initialization biases learning towards richer learning. Importantly, however, as an exception to this rule, we find lazier learning can still occur with a low-rank initialization that aligns with task and data statistics. Our research highlights the pivotal role of initial weight structures in shaping learning regimes, with implications for metabolic costs of plasticity and risks of catastrophic forgetting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google