Bypassing the Noisy Parity Barrier: Learning Higher-Order Markov Random Fields from Dynamics

要約

時間的に相関のあるサンプルからマルコフランダム場 (MRF) としても知られるグラフィカル モデルを学習する問題を検討します。
多くの従来の統計設定と同様に、この領域の基本的な結果はすべて、分布からの独立したサンプルを前提としています。
ただし、これらのサンプルは通常、自然からのより現実的な観察に直接対応するものではなく、代わりに何らかの確率過程に従って進化します。
計算レンズから見ると、$\mathsf{NP}=\mathsf{RP}$ でない限り、真の MRF 分布から 1 つのサンプルを生成することさえ困難であり、さらに i.i.d. から学習するアルゴリズムがなければ、困難です。
サンプルは、ノイズの問題と同等の硬度の低下により、法外な実行時間を必要とします。
i.i.d. からのサンプリングと学習に対するこれらの計算上の障壁は、
この設定により、この重要なタスクに対する画期的な結果の有用性が大幅に低下します。
ただし、この仮定を削除すると、通常はアルゴリズムと統計の複雑さがさらに増大するだけです。
この研究では、驚くべきことに、MRF の自然進化からの直接的な軌跡データが、効率的な学習に対する基本的な計算の下限を克服することを実証しました。
特に、グラウバー力学（グラフィカルモデル上のよく研究された自然な確率過程）からの次数 $k$ MRF の $\widetilde{O}_k(n)$ サイト更新の軌跡が与えられると、
$\widetilde{O}_k(n^2)$ 時間でグラフとパラメータを回復するアルゴリズム。
対照的に、次数 $k$ MRF を学習するための従来のすべてのアルゴリズムは、ノイズによる疎パリティの低減により、疎インスタンスであっても本質的に $n^{\Theta(k)}$ 実行時間の影響を受けます。
したがって、我々の結果は、驚くべきことに、このより現実的ではあるが直観的に扱いにくい MRF モデルが、実際には、従来の i.i.d. で知られ真実であると信じられているものをはるかに超える効率をもたらすことを示しています。
場合。

要約(オリジナル)

We consider the problem of learning graphical models, also known as Markov random fields (MRFs) from temporally correlated samples. As in many traditional statistical settings, fundamental results in the area all assume independent samples from the distribution. However, these samples generally will not directly correspond to more realistic observations from nature, which instead evolve according to some stochastic process. From the computational lens, even generating a single sample from the true MRF distribution is intractable unless $\mathsf{NP}=\mathsf{RP}$, and moreover, any algorithm to learn from i.i.d. samples requires prohibitive runtime due to hardness reductions to the parity with noise problem. These computational barriers for sampling and learning from the i.i.d. setting severely lessen the utility of these breakthrough results for this important task; however, dropping this assumption typically only introduces further algorithmic and statistical complexities. In this work, we surprisingly demonstrate that the direct trajectory data from a natural evolution of the MRF overcomes the fundamental computational lower bounds to efficient learning. In particular, we show that given a trajectory with $\widetilde{O}_k(n)$ site updates of an order $k$ MRF from the Glauber dynamics, a well-studied, natural stochastic process on graphical models, there is an algorithm that recovers the graph and the parameters in $\widetilde{O}_k(n^2)$ time. By contrast, all prior algorithms for learning order $k$ MRFs inherently suffer from $n^{\Theta(k)}$ runtime even in sparse instances due to the reductions to sparse parity with noise. Our results thus surprisingly show that this more realistic, but intuitively less tractable, model for MRFs actually leads to efficiency far beyond what is known and believed to be true in the traditional i.i.d. case.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google