Bridging the Usability Gap: Theoretical and Methodological Advances for Spectral Learning of Hidden Markov Models

要約

Baum-Welch (B-W) アルゴリズムは、隠れマルコフ モデル (HMM) を推論するための最も広く受け入れられている方法です。
ただし、ローカル最適化に陥る傾向があり、多くのリアルタイム アプリケーションにとっては遅すぎる可能性があります。
これらの障害を克服するために、モーメント法 (MOM) に基づく HMM のスペクトル学習 (SHMM) が文献で提案されています。
その期待にもかかわらず、SHMM の漸近理論はとらえどころがなく、エラーの伝播がチェックされないために SHMM の長期的なパフォーマンスが低下する可能性があります。
この論文では、(1) SHMM によって推定された尤度の近似誤差の漸近分布を提供し、(2) 誤差伝播の問題を軽減する投影 SHMM (PSHMM) と呼ばれる新しいアルゴリズムを提案し、(3) オンラインで開発します。
潜在的な非定常性に対応する SHMM と PSHMM の両方の学習バリアント。
SHMM のパフォーマンスを PSHMM と比較し、シミュレーション データと実世界のアプリケーションからのデータの両方について B-W アルゴリズムによる推定を比較しました。その結果、PSHMM は SHMM の計算上の利点を保持しているだけでなく、より堅牢な推定と予測を提供できることがわかりました。

要約(オリジナル)

The Baum-Welch (B-W) algorithm is the most widely accepted method for inferring hidden Markov models (HMM). However, it is prone to getting stuck in local optima, and can be too slow for many real-time applications. Spectral learning of HMMs (SHMM), based on the method of moments (MOM) has been proposed in the literature to overcome these obstacles. Despite its promises, asymptotic theory for SHMM has been elusive, and the long-run performance of SHMM can degrade due to unchecked propagation of error. In this paper, we (1) provide an asymptotic distribution for the approximate error of the likelihood estimated by SHMM, (2) propose a novel algorithm called projected SHMM (PSHMM) that mitigates the problem of error propagation, and (3) develop online learning variants of both SHMM and PSHMM that accommodate potential nonstationarity. We compare the performance of SHMM with PSHMM and estimation through the B-W algorithm on both simulated data and data from real world applications, and find that PSHMM not only retains the computational advantages of SHMM, but also provides more robust estimation and forecasting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google