eXponential FAmily Dynamical Systems (XFADS): Large-scale nonlinear Gaussian state-space modeling

要約

状態空間グラフィカル モデルと変分オートエンコーダー フレームワークは、データから動的システムを学習するための原理に基づいた装置を提供します。
最先端の確率的アプローチは、変分事後計算の柔軟性やダイナミクス モデルの表現力を犠牲にして、大きな問題にも対応できることがよくあります。
ただし、最終的な目標がデータの時空間構造を説明し、正確な予測を行うことができる生成モデルを学習することである場合、これらの統合は有害になる可能性があります。
予測機能を備えた動的システムの学習に重要な密な共分散構造を捕捉できる、非線形ガウス状態空間グラフィカル モデル用の低ランク構造変分自動エンコーディング フレームワークを紹介します。
私たちの推論アルゴリズムは、サンプルベースの近似ガウスメッセージパッシングと低ランクの償却事後更新から自然に生じる共分散構造を利用し、状態の次元で線形にスケーリングする時間計算量を使用して近似変分平滑化を効果的に実行します。
他の深状態空間モデル アーキテクチャと比較すると、私たちのアプローチは、より予測的な生成モデルを学習できる能力を一貫して示しています。
さらに、神経生理学的記録に適用すると、私たちのアプローチは、単一試行のごく一部から人口急増と行動の相関関係を予測できる動的システムを学習することができます。

要約(オリジナル)

State-space graphical models and the variational autoencoder framework provide a principled apparatus for learning dynamical systems from data. State-of-the-art probabilistic approaches are often able to scale to large problems at the cost of flexibility of the variational posterior or expressivity of the dynamics model. However, those consolidations can be detrimental if the ultimate goal is to learn a generative model capable of explaining the spatiotemporal structure of the data and making accurate forecasts. We introduce a low-rank structured variational autoencoding framework for nonlinear Gaussian state-space graphical models capable of capturing dense covariance structures that are important for learning dynamical systems with predictive capabilities. Our inference algorithm exploits the covariance structures that arise naturally from sample based approximate Gaussian message passing and low-rank amortized posterior updates — effectively performing approximate variational smoothing with time complexity scaling linearly in the state dimensionality. In comparisons with other deep state-space model architectures our approach consistently demonstrates the ability to learn a more predictive generative model. Furthermore, when applied to neural physiological recordings, our approach is able to learn a dynamical system capable of forecasting population spiking and behavioral correlates from a small portion of single trials.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google