Beyond Geometry: Comparing the Temporal Structure of Computation in Neural Circuits with Dynamical Similarity Analysis

要約

2 つのニューラル ネットワークが特定の計算で同じ内部プロセスを利用しているかどうかをどうやって判断できるのでしょうか?
この質問は、neuroAI、機械的解釈可能性、ブレインマシンインターフェイスなど、神経科学と機械学習の両方の複数の下位分野に関係します。
ニューラル ネットワークを比較するための標準的なアプローチは、潜在状態の空間幾何学に焦点を当てています。
しかし、リカレント ネットワークでは、計算はニューラル ダイナミクスのレベルで実装され、ジオメトリとの単純な 1 対 1 マッピングがありません。
このギャップを埋めるために、2 つのシステムをダイナミクスのレベルで比較する新しい類似性メトリックを導入します。
私たちの方法には 2 つのコンポーネントが組み込まれています。データ駆動型力学システム理論の最近の進歩を使用して、元の非線形力学の中核的特徴を正確に捕捉する高次元線形システムを学習します。
次に、直交変換下でベクトル場がどのように変化するかを説明する Procrustes Analysis の新しい拡張機能を介して、これらの線形近似を比較します。
4 つのケーススタディを通じて、幾何学的な方法では不十分であるのに対し、私たちの方法はリカレント ニューラル ネットワーク (RNN) の動的構造を効果的に識別および区別できることを示します。
さらに、私たちの方法が教師なしの方法で学習ルールを区別できることを示します。
したがって、私たちの方法は、ニューラル計算の時間構造の新しいデータ駆動型分析と、脳のモデルとしての RNN のより厳密なテストへの扉を開きます。

要約(オリジナル)

How can we tell whether two neural networks are utilizing the same internal processes for a particular computation? This question is pertinent for multiple subfields of both neuroscience and machine learning, including neuroAI, mechanistic interpretability, and brain-machine interfaces. Standard approaches for comparing neural networks focus on the spatial geometry of latent states. Yet in recurrent networks, computations are implemented at the level of neural dynamics, which do not have a simple one-to-one mapping with geometry. To bridge this gap, we introduce a novel similarity metric that compares two systems at the level of their dynamics. Our method incorporates two components: Using recent advances in data-driven dynamical systems theory, we learn a high-dimensional linear system that accurately captures core features of the original nonlinear dynamics. Next, we compare these linear approximations via a novel extension of Procrustes Analysis that accounts for how vector fields change under orthogonal transformation. Via four case studies, we demonstrate that our method effectively identifies and distinguishes dynamic structure in recurrent neural networks (RNNs), whereas geometric methods fall short. We additionally show that our method can distinguish learning rules in an unsupervised manner. Our method therefore opens the door to novel data-driven analyses of the temporal structure of neural computation, and to more rigorous testing of RNNs as models of the brain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google