Expressive architectures enhance interpretability of dynamics-based neural population models

要約

記録された神経活動から潜在的なダイナミクスを回復できる人工ニューラル ネットワークは、生物学的計算の基礎となるダイナミクス モチーフを特定し解釈するための強力な手段を提供する可能性があります。
神経分散だけでは潜在力学システムを一意に決定できないことを考慮すると、解釈可能なアーキテクチャは正確で低次元の潜在力学を優先する必要があります。
この研究では、シミュレートされたニューラル データセットから潜在カオス アトラクターを回復する際のシーケンシャル オートエンコーダー (SAE) のパフォーマンスを評価しました。
私たちは、広く使用されているリカレント ニューラル ネットワーク (RNN) ベースのダイナミクスを備えた SAE は、真の潜在状態の次元で正確な発火率を推測できず、より大きな RNN はデータに存在しない動的特徴に依存していることを発見しました。
一方、神経常微分方程式 (NODE) ベースのダイナミクスを備えた SAE は、真の潜在状態の次元で正確なレートを推定すると同時に、潜在軌道と固定点構造も回復します。
アブレーションにより、これは主に NODE が (1) ベクトル場をモデル化するために高容量の多層パーセプトロン (MLP) の使用を可能にし、(2) 次の状態ではなく導関数を予測するためであることが明らかになりました。
ダイナミクス モデルの能力をその潜在次元から切り離すことで、NODE は RNN セルが失敗する場合に必要な低次元ダイナミクスを学習できるようになります。
さらに、NODE が導関数を予測するという事実により、潜在状態に対して有用な自己回帰が課せられます。
広く使用されている RNN ベースのダイナミクスの解釈可能性は最適ではないため、低次元の潜在空間での正確なダイナミクスの学習を可能にする NODE などの代替アーキテクチャへの置き換えが促進される可能性があります。

要約(オリジナル)

Artificial neural networks that can recover latent dynamics from recorded neural activity may provide a powerful avenue for identifying and interpreting the dynamical motifs underlying biological computation. Given that neural variance alone does not uniquely determine a latent dynamical system, interpretable architectures should prioritize accurate and low-dimensional latent dynamics. In this work, we evaluated the performance of sequential autoencoders (SAEs) in recovering latent chaotic attractors from simulated neural datasets. We found that SAEs with widely-used recurrent neural network (RNN)-based dynamics were unable to infer accurate firing rates at the true latent state dimensionality, and that larger RNNs relied upon dynamical features not present in the data. On the other hand, SAEs with neural ordinary differential equation (NODE)-based dynamics inferred accurate rates at the true latent state dimensionality, while also recovering latent trajectories and fixed point structure. Ablations reveal that this is mainly because NODEs (1) allow use of higher-capacity multi-layer perceptrons (MLPs) to model the vector field and (2) predict the derivative rather than the next state. Decoupling the capacity of the dynamics model from its latent dimensionality enables NODEs to learn the requisite low-D dynamics where RNN cells fail. Additionally, the fact that the NODE predicts derivatives imposes a useful autoregressive prior on the latent states. The suboptimal interpretability of widely-used RNN-based dynamics may motivate substitution for alternative architectures, such as NODE, that enable learning of accurate dynamics in low-dimensional latent spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google