A Unified Approach to Learning Ising Models: Beyond Independence and Bounded Width

要約

イジング モデルの基礎となるパラメーターをデータから効率的に学習するという問題を再検討します。
現在のアルゴリズムのアプローチは、i.i.d.が与えられた場合に本質的に最適なサンプルの複雑さを実現します。
定常メジャーと基礎となるモデルからのサンプルは、各ノードに関係する合計 $\ell_1$ 相互作用の「幅」境界を満たします。
ノードごとのロジスティック回帰に基づく単純な既存のアプローチが、これらの仮定に違反するいくつかの新しい設定で基礎となるモデルを復元することに明らかに成功することを示します。 (1) ブロックやブロックなどのさまざまなローカル マルコフ連鎖から動的に生成されたデータが与えられる。
ラウンドロビン ダイナミクス、ロジスティック回帰により、$\log\log n$ 係数までの最適なサンプル複雑さでパラメーターが回復されます。
これは、Bresler、Gamarnik、Shah の特殊なアルゴリズムを一般化したものです [IEEE Trans.
情報
Theory’18] グラウバー力学からの有界次数グラフの構造回復。
(2) スピングラスのシェリントン・カークパトリックモデルの場合、$\mathsf{poly}(n)$ 独立サンプルが与えられると、ロジスティック回帰は、より弱い構造特性への単純な還元を介して、既知の高温領域のほとんどのパラメータを回復します。
尺度。
これは、高温での分布学習を提供する Anari、Jain、Koehler、Pham、および Vuong の最近の研究 [ArXiv’23] を改善しています。
(3) 私たちの技術の単純な副産物として、ロジスティック回帰は、Dutt、Lokhov、Vuffray、および Misra [ICML’21] によって考慮されたデータの M 領域のサンプルからの学習の指数関数的な改善と、学習の新しい保証を達成します。
Chin、Moitra、Mossel、Sandon の敵対的な Glauber ダイナミクスから [ArXiv’23]。
したがって、私たちのアプローチは、アルゴリズムを変更することなく、Wu、Sanghavi、および Dimakis [Neurips’19] の洗練された分析を大幅に一般化します。

要約(オリジナル)

We revisit the problem of efficiently learning the underlying parameters of Ising models from data. Current algorithmic approaches achieve essentially optimal sample complexity when given i.i.d. samples from the stationary measure and the underlying model satisfies ‘width’ bounds on the total $\ell_1$ interaction involving each node. We show that a simple existing approach based on node-wise logistic regression provably succeeds at recovering the underlying model in several new settings where these assumptions are violated: (1) Given dynamically generated data from a wide variety of local Markov chains, like block or round-robin dynamics, logistic regression recovers the parameters with optimal sample complexity up to $\log\log n$ factors. This generalizes the specialized algorithm of Bresler, Gamarnik, and Shah [IEEE Trans. Inf. Theory’18] for structure recovery in bounded degree graphs from Glauber dynamics. (2) For the Sherrington-Kirkpatrick model of spin glasses, given $\mathsf{poly}(n)$ independent samples, logistic regression recovers the parameters in most of the known high-temperature regime via a simple reduction to weaker structural properties of the measure. This improves on recent work of Anari, Jain, Koehler, Pham, and Vuong [ArXiv’23] which gives distribution learning at higher temperature. (3) As a simple byproduct of our techniques, logistic regression achieves an exponential improvement in learning from samples in the M-regime of data considered by Dutt, Lokhov, Vuffray, and Misra [ICML’21] as well as novel guarantees for learning from the adversarial Glauber dynamics of Chin, Moitra, Mossel, and Sandon [ArXiv’23]. Our approach thus significantly generalizes the elegant analysis of Wu, Sanghavi, and Dimakis [Neurips’19] without any algorithmic modification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google