Beyond Geometry: Comparing the Temporal Structure of Computation in Neural Circuits with Dynamical Similarity Analysis

要約

2 つのニューラル ネットワークが特定の計算に同じ内部プロセスを利用しているかどうかをどうやって判断できるのでしょうか?
この質問は、neuroAI、機械的解釈可能性、ブレインマシンインターフェイスなど、神経科学と機械学習の複数のサブフィールドに関連しています。
ニューラル ネットワークを比較するための標準的なアプローチは、潜在状態の空間幾何学に焦点を当てています。
しかし、リカレント ネットワークでは、計算はダイナミクスのレベルで実装され、同等のダイナミクスで同じ計算を実行する 2 つのネットワークが同じジオメトリを示す必要はありません。
このギャップを埋めるために、動的類似性分析 (DSA) と呼ばれる、2 つのシステムをダイナミクスのレベルで比較する新しい類似性メトリックを導入します。
私たちの方法には 2 つのコンポーネントが組み込まれています。データ駆動型力学システム理論の最近の進歩を使用して、元の非線形力学の中核的特徴を正確に捕捉する高次元線形システムを学習します。
次に、直交変換下でベクトル場がどのように変化するかを説明する Procrustes Analysis の新しい拡張機能を使用して、この埋め込みを通過したさまざまなシステムを比較します。
4 つのケーススタディでは、幾何学的な手法では不十分であるものの、私たちの手法は共役および非共役リカレント ニューラル ネットワーク (RNN) のもつれを解消できることを示しています。
さらに、私たちの方法が教師なしの方法で学習ルールを区別できることを示します。
私たちの方法は、神経回路における計算の本質的な時間構造の比較分析への扉を開きます。

要約(オリジナル)

How can we tell whether two neural networks utilize the same internal processes for a particular computation? This question is pertinent for multiple subfields of neuroscience and machine learning, including neuroAI, mechanistic interpretability, and brain-machine interfaces. Standard approaches for comparing neural networks focus on the spatial geometry of latent states. Yet in recurrent networks, computations are implemented at the level of dynamics, and two networks performing the same computation with equivalent dynamics need not exhibit the same geometry. To bridge this gap, we introduce a novel similarity metric that compares two systems at the level of their dynamics, called Dynamical Similarity Analysis (DSA). Our method incorporates two components: Using recent advances in data-driven dynamical systems theory, we learn a high-dimensional linear system that accurately captures core features of the original nonlinear dynamics. Next, we compare different systems passed through this embedding using a novel extension of Procrustes Analysis that accounts for how vector fields change under orthogonal transformation. In four case studies, we demonstrate that our method disentangles conjugate and non-conjugate recurrent neural networks (RNNs), while geometric methods fall short. We additionally show that our method can distinguish learning rules in an unsupervised manner. Our method opens the door to comparative analyses of the essential temporal structure of computation in neural circuits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google