Information-Computation Tradeoffs for Learning Margin Halfspaces with Random Classification Noise

要約

ランダム分類ノイズを使用して $\gamma$-margin 半空間を学習する PAC の問題を研究します。
我々は、問題のサンプルの複雑さと計算効率の高いアルゴリズムのサンプルの複雑さとの間に固有のギャップを示唆する、情報と計算のトレードオフを確立します。
具体的には、問題のサンプル複雑さは $\widetilde{\Theta}(1/(\gamma^2 \epsilon))$ です。
まず、サンプル複雑度 $\widetilde{O}(1/(\gamma^2 \epsilon^2))$ の単純で効率的なアルゴリズムを与えることから始めます。
私たちの主な結果は、統計クエリ (SQ) アルゴリズムと低次多項式テストの下限であり、サンプルの複雑さにおける $1/\epsilon$ への二次依存性が計算効率の高いアルゴリズムに固有であることを示唆しています。
具体的には、私たちの結果は、効率的な SQ 学習器または低次数テストのサンプル複雑さに関する $\widetilde{\Omega}(1/(\gamma^{1/2} \epsilon^2))$ の下限を意味します。

要約(オリジナル)

We study the problem of PAC learning $\gamma$-margin halfspaces with Random Classification Noise. We establish an information-computation tradeoff suggesting an inherent gap between the sample complexity of the problem and the sample complexity of computationally efficient algorithms. Concretely, the sample complexity of the problem is $\widetilde{\Theta}(1/(\gamma^2 \epsilon))$. We start by giving a simple efficient algorithm with sample complexity $\widetilde{O}(1/(\gamma^2 \epsilon^2))$. Our main result is a lower bound for Statistical Query (SQ) algorithms and low-degree polynomial tests suggesting that the quadratic dependence on $1/\epsilon$ in the sample complexity is inherent for computationally efficient algorithms. Specifically, our results imply a lower bound of $\widetilde{\Omega}(1/(\gamma^{1/2} \epsilon^2))$ on the sample complexity of any efficient SQ learner or low-degree test.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google