Time Series Clustering with General State Space Models via Stochastic Variational Inference

要約

この論文では、一般状態空間モデル (MSSM) を混合したモデルベースの時系列クラスタリングの新しい方法を提案します。
MSSM の各コンポーネントは各クラスターに関連付けられます。
提案手法の利点は、特定の時系列に適した時系列モデルを使用できることです。
これにより、クラスタリングと予測の精度が向上するだけでなく、推定パラメータの解釈可能性も向上します。
MSSM のパラメーターは、変分推論のサブタイプである確率的変分推論を使用して推定されます。
提案手法は、変分推定器として正規化フローを備えたニューラル ネットワークを使用することにより、任意の状態空間モデルの潜在変数を推定します。
クラスターの数は、ベイジアン情報量基準を使用して推定できます。
さらに、MSSM が局所最適に収束するのを防ぐために、エントロピー アニーリングと呼ばれる追加のペナルティ項を含むいくつかの最適化トリックを提案します。
私たちの知る限り、提案された方法は、一般的な (おそらく非線形、非ガウスの) 状態空間モデルに基づく時系列クラスタリングに対して計算的に実行可能な最初の方法です。
シミュレートされたデータセットでの実験により、提案された方法がクラスタリング、パラメータ推定、およびクラスタ数の推定に有効であることが示されています。

要約(オリジナル)

In this paper, we propose a novel method of model-based time series clustering with mixtures of general state space models (MSSMs). Each component of MSSMs is associated with each cluster. An advantage of the proposed method is that it enables the use of time series models appropriate to the specific time series. This not only improves clustering and prediction accuracy but also enhances the interpretability of the estimated parameters. The parameters of the MSSMs are estimated using stochastic variational inference, a subtype of variational inference. The proposed method estimates the latent variables of an arbitrary state space model by using neural networks with a normalizing flow as a variational estimator. The number of clusters can be estimated using the Bayesian information criterion. In addition, to prevent MSSMs from converging to the local optimum, we propose several optimization tricks, including an additional penalty term called entropy annealing. To our best knowledge, the proposed method is the first computationally feasible one for time series clustering based on general (possibly nonlinear, non-Gaussian) state space models. Experiments on simulated datasets show that the proposed method is effective for clustering, parameter estimation, and estimating the number of clusters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google