Generative diffusion for perceptron problems: statistical physics analysis and efficient algorithms

要約

多数の例の高次元的な制限における非凸型パーセプトロン問題のランダムなインスタンスを考慮します$ m $と重量$ n $を使用して、有限の負荷$ \ alpha = m/n $を使用します。
レプリカ理論に基づいた形式を開発し、生成拡散アルゴリズムを使用してソリューション空間を効率的にサンプリングする基本的な制限を予測します。
負のマージン$ \ kappa $を持つ球状のパーセプトロンの場合、$ \ alpha- \ kappa $平面のレプリカ対称領域のほとんどで溶液上の均一な分布を効率的にサンプリングできることがわかります。
対照的に、バイナリの重みの場合、均一な分布からのサンプリングは扱いにくいままです。
この閉塞の理論的分析により、潜在的な$ u（s）= – \ log（s）$を特定することになります。その下では、対応する傾斜分布は拡散により効率的にサンプル可能になります。
さらに、このポテンシャルの形状をめぐるアニーリング手順により、バイナリパーセプトロンのソリューション空間をサンプリングするための高速で堅牢なマルコフチェーンモンテカルロアルゴリズムが得られることを数値的に示します。

要約(オリジナル)

We consider random instances of non-convex perceptron problems in the high-dimensional limit of a large number of examples $M$ and weights $N$, with finite load $\alpha = M/N$. We develop a formalism based on replica theory to predict the fundamental limits of efficiently sampling the solution space using generative diffusion algorithms, conjectured to be saturated when the score function is provided by Approximate Message Passing. For the spherical perceptron with negative margin $\kappa$, we find that the uniform distribution over solutions can be efficiently sampled in most of the Replica Symmetric region of the $\alpha-\kappa$ plane. In contrast, for binary weights, sampling from the uniform distribution remains intractable. A theoretical analysis of this obstruction leads us to identify a potential $U(s) = -\log(s)$, under which the corresponding tilted distribution becomes efficiently samplable via diffusion. Moreover, we show numerically that an annealing procedure over the shape of this potential yields a fast and robust Markov Chain Monte Carlo algorithm for sampling the solution space of the binary perceptron.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google