Matching the Statistical Query Lower Bound for k-sparse Parity Problems with Stochastic Gradient Descent

要約

$k$-パリティ問題は、計算の複雑さとアルゴリズム理論における古典的な問題であり、計算クラスを理解するための重要なベンチマークとして機能します。
この論文では、2 層全結合ニューラル ネットワーク上の確率的勾配降下法 (SGD) を使用して $k$ パリティ問題を解決します。
SGD がサンプル複雑度 $\tilde{O}(
$2^{\Theta(k)}$ ニューロンを使用する d^{k-1})$ は、統計クエリ (SQ) モデルの確立された $\Omega(d^{k})$ 下限と一致します。
私たちの理論的分析は、$k$-parity 問題を正しく解決できる優れたニューラル ネットワークを構築することから始まります。
次に、SGD を使用してトレーニングされたニューラル ネットワークがこの良好なネットワークを効果的に近似し、統計的誤差が小さい $k$-パリティ問題を解決する方法を示します。
私たちの理論的な結果と発見は経験的な証拠によって裏付けられており、私たちのアプローチの効率と有効性を示しています。

要約(オリジナル)

The $k$-parity problem is a classical problem in computational complexity and algorithmic theory, serving as a key benchmark for understanding computational classes. In this paper, we solve the $k$-parity problem with stochastic gradient descent (SGD) on two-layer fully-connected neural networks. We demonstrate that SGD can efficiently solve the $k$-sparse parity problem on a $d$-dimensional hypercube ($k\le O(\sqrt{d})$) with a sample complexity of $\tilde{O}(d^{k-1})$ using $2^{\Theta(k)}$ neurons, thus matching the established $\Omega(d^{k})$ lower bounds of Statistical Query (SQ) models. Our theoretical analysis begins by constructing a good neural network capable of correctly solving the $k$-parity problem. We then demonstrate how a trained neural network with SGD can effectively approximate this good network, solving the $k$-parity problem with small statistical errors. Our theoretical results and findings are supported by empirical evidence, showcasing the efficiency and efficacy of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google