Dynamical similarity analysis uniquely captures how computations develop in RNNs

要約

神経システム内の表現を分析する方法は、神経科学やメカニズム的解釈可能性において、ますますポピュラーなツールとなっている。条件、アーキテクチャー、種を越えて神経活性を比較する測定法は、異なる神経ネットワーク内の情報変換を理解するスケーラブルな方法を提供する。しかし、最近の知見によると、一部の測定基準は偽信号に反応し、誤解を招く結果につながる。したがって、最も信頼性の高い測定基準や改善の可能性を特定するためには、ベンチマークとなるテストケースを確立することが不可欠である。我々は、リカレントニューラルネットワーク（RNN）における構成学習が、動的表現アライメントメトリクスのテストケースを提供できることを提案する。このケースを実装することで、メトリクスが学習を通して発達する表現を特定できるかどうかを評価し、メトリクスによって特定された表現がネットワークの実際の計算を反映しているかどうかを判断することができる。アトラクターとRNNベースの両方のテストケースを構築し、最近提案された動的類似性分析（DSA）が、先行するメトリクス（Procrustes、CKA）と比較して、よりノイズに強く、確実に行動に関連する表現を識別できることを示す。また、このようなテストケースが、メトリック評価を超えて、新しいアーキテクチャを研究するためにどのように拡張できるかを示す。具体的には、最新の（Mamba）状態空間モデルでDSAをテストすることで、RNNとは異なり、これらのモデルは、その表現力豊かな隠れ状態のために、リカレントダイナミクスの変更を必要としない可能性があることを示唆している。全体として、動的モチーフを検出するDSAの強化された能力が、RNNで進行中の計算を特定し、ネットワークがタスクをどのように学習するかを明らかにするのに非常に効果的であることを示すテストケースを開発した。

要約(オリジナル)

Methods for analyzing representations in neural systems are increasingly popular tools in neuroscience and mechanistic interpretability. Measures comparing neural activations across conditions, architectures, and species give scalable ways to understand information transformation within different neural networks. However, recent findings show that some metrics respond to spurious signals, leading to misleading results. Establishing benchmark test cases is thus essential for identifying the most reliable metric and potential improvements. We propose that compositional learning in recurrent neural networks (RNNs) can provide a test case for dynamical representation alignment metrics. Implementing this case allows us to evaluate if metrics can identify representations that develop throughout learning and determine if representations identified by metrics reflect the network’s actual computations. Building both attractor and RNN based test cases, we show that the recently proposed Dynamical Similarity Analysis (DSA) is more noise robust and reliably identifies behaviorally relevant representations compared to prior metrics (Procrustes, CKA). We also demonstrate how such test cases can extend beyond metric evaluation to study new architectures. Specifically, testing DSA in modern (Mamba) state space models suggests that these models, unlike RNNs, may not require changes in recurrent dynamics due to their expressive hidden states. Overall, we develop test cases that showcase how DSA’s enhanced ability to detect dynamical motifs makes it highly effective for identifying ongoing computations in RNNs and revealing how networks learn tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL