Expressive architectures enhance interpretability of dynamics-based neural population models

要約

タイトル：表現豊かなアーキテクチャは、動的なニューロン人口モデルの解釈性を高める

要約：

– ニューロン活動を記録したデータから潜在的な動的モチーフを特定・解釈するための人工ニューラルネットワークは、生物学的な計算に基づく潜在的な動的を回復することができ、有力な手段となる可能性がある。
– 純粋にニューロンの分散だけでは潜在的な動的システムを一意に決定できないため、解釈可能なアーキテクチャは正確かつ低次元の潜在的な動的に重点を置く必要がある。
– この研究では、シミュレーションされたニューロンのデータセットから潜在的なカオスアトラクタを回復する際に、代表的な再帰型ニューラルネットワーク（RNN）を使用した逐次オートエンコーダー（SAE）の性能を評価した。
– RNNを使用するSAEでは、真の潜在状態の次元で正確な発火率を推測できず、大きなRNNになるほど、データに存在しない動的特徴に依存してしまうことが判明した。
– 一方、ニューラル常微分方程式（NODE）を使用したSAEでは、真の潜在状態の次元で正確なレートを推定し、潜在的な軌道と固定点の構造も回復することができた。
– NODEは、（1）より高い容量を持つマルチレイヤーパーセプトロン（MLP）を使ってベクトル場をモデリングし、（2）次の状態ではなく導関数を予測することができるため、SAEが低次元の動的を学習できるようになる。
– NODEが導関数を予測するため、潜在的な状態に有用な自己回帰的な先行情報が加味される。
– 広く用いられているRNNベースの動的モデルの解釈性の劣化は、NODEなどの代替アーキテクチャを使用することが推奨される理由の1つである。NODEは、低次元の潜在空間で正確な動的の学習を可能にする。

要約(オリジナル)

Artificial neural networks that can recover latent dynamics from recorded neural activity may provide a powerful avenue for identifying and interpreting the dynamical motifs underlying biological computation. Given that neural variance alone does not uniquely determine a latent dynamical system, interpretable architectures should prioritize accurate and low-dimensional latent dynamics. In this work, we evaluated the performance of sequential autoencoders (SAEs) in recovering latent chaotic attractors from simulated neural datasets. We found that SAEs with widely-used recurrent neural network (RNN)-based dynamics were unable to infer accurate firing rates at the true latent state dimensionality, and that larger RNNs relied upon dynamical features not present in the data. On the other hand, SAEs with neural ordinary differential equation (NODE)-based dynamics inferred accurate rates at the true latent state dimensionality, while also recovering latent trajectories and fixed point structure. Ablations reveal that this is mainly because NODEs (1) allow use of higher-capacity multi-layer perceptrons (MLPs) to model the vector field and (2) predict the derivative rather than the next state. Decoupling the capacity of the dynamics model from its latent dimensionality enables NODEs to learn the requisite low-D dynamics where RNN cells fail. Additionally, the fact that the NODE predicts derivatives imposes a useful autoregressive prior on the latent states. The suboptimal interpretability of widely-used RNN-based dynamics may motivate substitution for alternative architectures, such as NODE, that enable learning of accurate dynamics in low-dimensional latent spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI