Learning Hidden Markov Models Using Conditional Samples

要約

この論文は、隠れマルコフ モデル (HMM) の学習の計算の複雑さに関係しています。
HMM は、シーケンシャルおよび時系列モデリングで最も広く使用されているツールの 1 つですが、i.i.d. にアクセスできる標準設定で暗号的に学習するのは困難です。
観測シーケンスのサンプル。
このホワイト ペーパーでは、この設定から離れて、アルゴリズムが HMM の条件付き分布からサンプルをクエリできる対話型アクセス モデルを検討します。
HMM への対話型アクセスにより、計算効率の高い学習アルゴリズムが可能になり、それによって暗号の難しさを回避できることを示します。
具体的には、次の 2 つの設定で HMM を学習するための効率的なアルゴリズムを取得します。(a) 正確な条件付き確率にクエリ アクセスできる簡単な設定。
ここで、アルゴリズムは多項式時間で実行され、多項式に多くのクエリを作成して、総変動距離で任意の HMM を近似します。
(b) 条件付き分布からのみサンプルを取得できる、より厳しい設定。
ここで、アルゴリズムのパフォーマンスは、HMM の忠実度と呼ばれる新しいパラメーターに依存します。
これにより、暗号的に困難なインスタンスと以前に知られている肯定的な結果がキャプチャされることがわかります。
また、これらの結果が、潜在的な低ランク構造を持つより広いクラスの分布にまで及ぶことも示しています。
私たちのアルゴリズムは、メンバーシップ クエリから決定論的有限オートマトンを学習するための、Angluin の $L^*$ アルゴリズムの一般化および堅牢化と見なすことができます。

要約(オリジナル)

This paper is concerned with the computational complexity of learning the Hidden Markov Model (HMM). Although HMMs are some of the most widely used tools in sequential and time series modeling, they are cryptographically hard to learn in the standard setting where one has access to i.i.d. samples of observation sequences. In this paper, we depart from this setup and consider an interactive access model, in which the algorithm can query for samples from the conditional distributions of the HMMs. We show that interactive access to the HMM enables computationally efficient learning algorithms, thereby bypassing cryptographic hardness. Specifically, we obtain efficient algorithms for learning HMMs in two settings: (a) An easier setting where we have query access to the exact conditional probabilities. Here our algorithm runs in polynomial time and makes polynomially many queries to approximate any HMM in total variation distance. (b) A harder setting where we can only obtain samples from the conditional distributions. Here the performance of the algorithm depends on a new parameter, called the fidelity of the HMM. We show that this captures cryptographically hard instances and previously known positive results. We also show that these results extend to a broader class of distributions with latent low rank structure. Our algorithms can be viewed as generalizations and robustifications of Angluin’s $L^*$ algorithm for learning deterministic finite automata from membership queries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google