Learning Hidden Markov Models When the Locations of Missing Observations are Unknown

要約

隠れマルコフモデル（HMM）は、逐次データ解析に最も広く使われている統計モデルのひとつである。この汎用性の主な理由の1つは、HMMが欠損データに対処できることである。しかし、標準的なHMM学習アルゴリズムは、欠損オブザベーションの位置がわかっているという仮定に決定的に依存しています。この仮定がしばしば破られる自然科学では、一般にサイレント状態HMM（SHMM）として知られるHMMの特別な変種が使用される。広く使われているにもかかわらず、これらのアルゴリズムは、非周期性のような基礎となる連鎖の特定の構造的仮定に強く依存しているため、これらの手法の適用性が制限されている。さらに、非周期的な場合であっても、これらの方法では再構成がうまくいかない可能性があることが示されている。本稿では、観測位置が未知のデータからHMMを学習する一般的な問題を考察する。SHMMとは異なり、基礎となる連鎖の構造に関する仮定を必要とせず、限られた事前知識でも利用可能な再構成アルゴリズムを提供する。また、SHMMとは異なり、限られた事前知識しか必要としない。我々は、様々なシナリオにおいてアルゴリズムを評価し、比較する。特筆すべきは、適切な仕様のもとでは、欠落したオブザベーションの位置が既知である場合と同様に、プロセスダイナミクスを再構成できることを示す。

要約(オリジナル)

The Hidden Markov Model (HMM) is one of the most widely used statistical models for sequential data analysis. One of the key reasons for this versatility is the ability of HMM to deal with missing data. However, standard HMM learning algorithms rely crucially on the assumption that the positions of the missing observations \emph{within the observation sequence} are known. In the natural sciences, where this assumption is often violated, special variants of HMM, commonly known as Silent-state HMMs (SHMMs), are used. Despite their widespread use, these algorithms strongly rely on specific structural assumptions of the underlying chain, such as acyclicity, thus limiting the applicability of these methods. Moreover, even in the acyclic case, it has been shown that these methods can lead to poor reconstruction. In this paper we consider the general problem of learning an HMM from data with unknown missing observation locations. We provide reconstruction algorithms that do not require any assumptions about the structure of the underlying chain, and can also be used with limited prior knowledge, unlike SHMM. We evaluate and compare the algorithms in a variety of scenarios, measuring their reconstruction precision, and robustness under model miss-specification. Notably, we show that under proper specifications one can reconstruct the process dynamics as well as if the missing observations positions were known.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL