A Near-optimal Algorithm for Learning Margin Halfspaces with Massart Noise

要約

Massart ノイズの存在下で $\gamma$-margin 半空間を学習する PAC の問題を研究します。
計算を考慮しない場合、この学習問題のサンプルの複雑さは $\widetilde{\Theta}(1/(\gamma^2 \epsilon))$ であることが知られています。
この問題に対する以前の計算効率の高いアルゴリズムでは、サンプルの複雑さ $\tilde{O}(1/(\gamma^4 \epsilon^3))$ が発生し、$\eta+\epsilon$ の 0 ～ 1 の誤差が発生します。ここで、$\eta< 1/2$ はノイズ レートの上限です。 最近の研究では、情報計算のトレードオフの証拠が示され、計算効率の高いアルゴリズムには $1/\epsilon$ への二次依存が必要であることが示唆されました。 私たちの主な結果は、この下限にほぼ一致するサンプル複雑さ $\widetilde{\Theta}(1/(\gamma^2 \epsilon^2))$ を持つ計算効率の高い学習器です。 さらに、私たちのアルゴリズムはシンプルで実用的であり、慎重に選択された凸損失のシーケンスに基づくオンライン SGD に依存しています。

要約(オリジナル)

We study the problem of PAC learning $\gamma$-margin halfspaces in the presence of Massart noise. Without computational considerations, the sample complexity of this learning problem is known to be $\widetilde{\Theta}(1/(\gamma^2 \epsilon))$. Prior computationally efficient algorithms for the problem incur sample complexity $\tilde{O}(1/(\gamma^4 \epsilon^3))$ and achieve 0-1 error of $\eta+\epsilon$, where $\eta<1/2$ is the upper bound on the noise rate. Recent work gave evidence of an information-computation tradeoff, suggesting that a quadratic dependence on $1/\epsilon$ is required for computationally efficient algorithms. Our main result is a computationally efficient learner with sample complexity $\widetilde{\Theta}(1/(\gamma^2 \epsilon^2))$, nearly matching this lower bound. In addition, our algorithm is simple and practical, relying on online SGD on a carefully selected sequence of convex losses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google