Towards Flexibility and Interpretability of Gaussian Process State-Space Model

要約

タイトル：柔軟性と解釈可能性を向上させるためのガウス過程状態空間モデルへの取り組み

要約：

– ガウス過程状態空間モデル（GPSSM）は、過去10年間で注目を集めています。
– GPSSMのモデル表現力はまだ十分ではありません。多くのGPSSM研究は、二乗指数（SE）カーネルやマテルンカーネルなどの予備的なカーネルとともに標準的なガウス過程（GP）を使用しています。これは、モデル表現力と複雑なシナリオでの適用を制限しています。
– この論文では、TGPSSMと呼ばれる新しい確率的状態空間モデルのクラスを提案しています。パラメトリック正規化フローを活用することで、TGPSSMは標準的なGPSSM内のGP事前分布を充実させ、状態空間モデルを柔軟かつ表現力豊かにします。
– さらに、TGPSSMでの学習と推論のためのスケーラブルな変分推論アルゴリズムを提供し、潜在的な状態の変分分布の柔軟で最適な構造を提供します。アルゴリズムは、GPの疎な表現と正規化フローの双方向性により、解釈可能で計算効率が高くなっています。
– 提案されたアルゴリズムの学習と推論の性能をさらに向上させるために、制約最適化フレームワークを統合して状態空間表現能力を向上させ、ハイパーパラメータを最適化します。
– 合成および実際のデータセットに基づく実験結果は、提案されたTGPSSMがいくつかの最新の手法に比べて優れた学習と推論の性能を発揮することを裏付けています。関連するソースコードは、\url{https://github.com/zhidilin/TGPSSM}で入手可能です。

要約(オリジナル)

The Gaussian process state-space model (GPSSM) has attracted much attention over the past decade. However, the model representation power of the GPSSM is far from satisfactory. Most GPSSM studies rely on the standard Gaussian process (GP) with a preliminary kernel, such as the squared exponential (SE) kernel or Mat\'{e}rn kernel, which limits the model representation power and its application in complex scenarios. To address this issue, this paper proposes a novel class of probabilistic state-space models, called TGPSSMs. By leveraging a parametric normalizing flow, the TGPSSMs enrich the GP priors in the standard GPSSM, rendering the state-space model more flexible and expressive. Additionally, we present a scalable variational inference algorithm for learning and inference in TGPSSMs, which provides a flexible and optimal structure for the variational distribution of latent states. The algorithm is interpretable and computationally efficient owing to the sparse representation of GP and the bijective nature of normalizing flow. To further improve the learning and inference performance of the proposed algorithm, we integrate a constrained optimization framework to enhance the state-space representation capabilities and optimize the hyperparameters. The experimental results based on various synthetic and real datasets corroborate that the proposed TGPSSM yields superior learning and inference performance compared to several state-of-the-art methods. The accompanying source code is available at \url{https://github.com/zhidilin/TGPSSM}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI