On the Impact of Sampling on Deep Sequential State Estimation

要約

逐次モデルにおける状態推論とパラメーター学習は、データ分布の限界対数尤度に対する証拠の下限を最大化する近似手法を使用して正常に実行できます。
これらの方法は動的変分オートエンコーダと呼ばれることがあり、私たちが特に焦点を当てているのはディープ カルマン フィルターです。
ELBO 目標はデータ表現を過度に単純化し、推定の品質を損なう可能性があることが示されています。
生成モデリングのパフォーマンスを向上させるために、より厳密なモンテカルロ目標が文献で提案されています。
たとえば、IWAE の目標では、重要度の重みを使用して、周辺対数尤度推定値の分散を削減します。
この論文では、深層マルコフ モデルを学習するための DKF フレームワークに重要度サンプリングが適用され、結果として IW-DKF が得られます。これは、変分分布と遷移モデルの間の対数尤度推定および KL 発散の点で改善を示しています。
サンプリングされた DKF 更新ルールを使用するフレームワークは、非線形性の高い物理ベースのモデルを操作する場合のシーケンシャルな状態とパラメーターの推定にも対応します。
3 空間ローレンツ アトラクターを使用した実験では、モデル パラメーターと潜在状態を推定する際の生成モデリング パフォーマンスの向上と RMSE の減少が示されており、MCO が厳密になると状態推論パフォーマンスの向上につながることが示されています。

要約(オリジナル)

State inference and parameter learning in sequential models can be successfully performed with approximation techniques that maximize the evidence lower bound to the marginal log-likelihood of the data distribution. These methods may be referred to as Dynamical Variational Autoencoders, and our specific focus lies on the deep Kalman filter. It has been shown that the ELBO objective can oversimplify data representations, potentially compromising estimation quality. Tighter Monte Carlo objectives have been proposed in the literature to enhance generative modeling performance. For instance, the IWAE objective uses importance weights to reduce the variance of marginal log-likelihood estimates. In this paper, importance sampling is applied to the DKF framework for learning deep Markov models, resulting in the IW-DKF, which shows an improvement in terms of log-likelihood estimates and KL divergence between the variational distribution and the transition model. The framework using the sampled DKF update rule is also accommodated to address sequential state and parameter estimation when working with highly non-linear physics-based models. An experiment with the 3-space Lorenz attractor shows an enhanced generative modeling performance and also a decrease in RMSE when estimating the model parameters and latent states, indicating that tighter MCOs lead to improved state inference performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google