Dynamical similarity analysis uniquely captures how computations develop in RNNs

要約

神経システムの表現を分析する方法は、神経科学と機構の解釈においてますます人気のあるツールです。
条件、アーキテクチャ、種全体で神経活動を比較する測定により、さまざまなニューラル ネットワーク内での情報変換を理解するためのスケーラブルな方法が得られます。
ただし、最近の調査結果では、一部のメトリクスがスプリアス信号に反応し、誤解を招く結果につながることが示されています。
したがって、ベンチマーク テスト ケースを確立することは、最も信頼できる指標と潜在的な改善点を特定するために不可欠です。
私たちは、リカレント ニューラル ネットワーク (RNN) での構成学習が、動的表現アラインメント メトリックのテスト ケースを提供できることを提案します。
このケースを実装すると、学習中に発達する表現をメトリクスが識別できるかどうかを評価し、メトリクスによって識別された表現がネットワークの実際の計算を反映しているかどうかを判断できます。
アトラクターと RNN ベースのテスト ケースの両方を構築することで、最近提案された動的類似性分析 (DSA) が以前のメトリクス (Procrustes、CKA) と比較してノイズに強く、動作に関連する表現を確実に識別できることを示します。
また、このようなテスト ケースがメトリック評価を超えて新しいアーキテクチャを研究するためにどのように拡張できるかを示します。
具体的には、最新の (Mamba) 状態空間モデルで DSA をテストすると、これらのモデルは、RNN とは異なり、表現力豊かな隠れ状態により、リカレント ダイナミクスの変更を必要としない可能性があることが示唆されます。
全体として、動的モチーフを検出する DSA の強化された機能により、RNN で進行中の計算を識別し、ネットワークがどのようにタスクを学習するかを明らかにするのに DSA がどのように非常に効果的になるかを示すテスト ケースを開発します。

要約(オリジナル)

Methods for analyzing representations in neural systems are increasingly popular tools in neuroscience and mechanistic interpretability. Measures comparing neural activations across conditions, architectures, and species give scalable ways to understand information transformation within different neural networks. However, recent findings show that some metrics respond to spurious signals, leading to misleading results. Establishing benchmark test cases is thus essential for identifying the most reliable metric and potential improvements. We propose that compositional learning in recurrent neural networks (RNNs) can provide a test case for dynamical representation alignment metrics. Implementing this case allows us to evaluate if metrics can identify representations that develop throughout learning and determine if representations identified by metrics reflect the network’s actual computations. Building both attractor and RNN based test cases, we show that the recently proposed Dynamical Similarity Analysis (DSA) is more noise robust and reliably identifies behaviorally relevant representations compared to prior metrics (Procrustes, CKA). We also demonstrate how such test cases can extend beyond metric evaluation to study new architectures. Specifically, testing DSA in modern (Mamba) state space models suggests that these models, unlike RNNs, may not require changes in recurrent dynamics due to their expressive hidden states. Overall, we develop test cases that showcase how DSA’s enhanced ability to detect dynamical motifs makes it highly effective for identifying ongoing computations in RNNs and revealing how networks learn tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google