Low Tensor Rank Learning of Neural Dynamics

要約

学習は、反復的に接続されたニューロン集団における協調的なシナプスの変化に依存しています。
したがって、学習をめぐるシナプス接続の集団的進化を理解することは、神経科学と機械学習における重要な課題です。
特に、最近の研究では、タスク学習された RNN の重み行列は通常低ランクであることが示されていますが、この低ランク構造が学習中にどのように展開するかは不明です。
これに対処するために、学習全体を通じて重み行列によって形成される 3 テンソルのランクを調査します。
運動学習タスク中にさまざまなランクの RNN を大規模な神経記録に適合させると、推論された重みが低テンソルランクであるため、学習の全過程を通じて固定の低次元部分空間上で進化することがわかります。
次に、グラウンド トゥルースの重みに対して直接低テンソル ランクの分解を実行し、データに適用した方法が忠実に復元することを示すことによって、同じタスクを解決するようにトレーニングされた RNN での低テンソル ランクの学習の観察を検証します。
この低ランク構造。
最後に、勾配降下学習ダイナミクスの行列とテンソル ランクを境界付ける一連の数学的結果を提示します。これは、低次元タスクを解決するように訓練された RNN では低テンソル ランクの重みが自然に出現することを示します。
まとめると、我々の発見は、生物学的ニューラルネットワークと人工ニューラルネットワークの両方における学習を介した集団接続性の進化に対する新たな制約を提供し、大規模なニューラル記録からのリカレントネットワークダイナミクスにおける学習によって引き起こされる変化のリバースエンジニアリングを可能にします。

要約(オリジナル)

Learning relies on coordinated synaptic changes in recurrently connected populations of neurons. Therefore, understanding the collective evolution of synaptic connectivity over learning is a key challenge in neuroscience and machine learning. In particular, recent work has shown that the weight matrices of task-trained RNNs are typically low rank, but how this low rank structure unfolds over learning is unknown. To address this, we investigate the rank of the 3-tensor formed by the weight matrices throughout learning. By fitting RNNs of varying rank to large-scale neural recordings during a motor learning task, we find that the inferred weights are low-tensor-rank and therefore evolve over a fixed low-dimensional subspace throughout the entire course of learning. We next validate the observation of low-tensor-rank learning on an RNN trained to solve the same task by performing a low-tensor-rank decomposition directly on the ground truth weights, and by showing that the method we applied to the data faithfully recovers this low rank structure. Finally, we present a set of mathematical results bounding the matrix and tensor ranks of gradient descent learning dynamics which show that low-tensor-rank weights emerge naturally in RNNs trained to solve low-dimensional tasks. Taken together, our findings provide novel constraints on the evolution of population connectivity over learning in both biological and artificial neural networks, and enable reverse engineering of learning-induced changes in recurrent network dynamics from large-scale neural recordings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google