Approximating the Number of Relevant Variables in a Parity Implies Proper Learning

要約

ランダムな分類ノイズが存在する中で、ランダムで均一にラベル付けされたサンプルを通じてパリティ関数にアクセスできるモデルを考えてみましょう。
この論文では、パリティ関数内の関連する変数の数を近似することは、パリティを適切に学習するのと同じくらい難しいことを示します。
より具体的には、$\gamma:{\mathbb R}^+\to {\mathbb R}^+$ とします。ここで、$\gamma(x) \ge x$ は、任意の厳密な増加関数です。
最初の結果では、 $\gamma$ 近似 $D$ (つまり $\gamma^{-1}(d(f)) \leq D \leq \ を返す多項式時間アルゴリズムから
gamma(d(f))$)、任意のパリティ $f$ の関連変数 ~$d(f)$ の数を計算すると、多項式時間で、長年の未解決の問題である多項式の解を構築できます。
$k(n)$-sparse パリティ ($k(n)\le n$ 関連変数を持つパリティ)、ここで $k(n) = \omega_n(1)$ を学習するのに時間がかかります。
2 番目の結果では、任意の $T(n)$ 時間アルゴリズムから、任意のパリティ $f$ に対して、$ の関連する変数 $d(f)$ の数の $\gamma$ 近似を返すことがわかります。
f$、多項式時間で、パリティを適切に学習する $poly(\Gamma(n))T(\Gamma(n)^2)$ 時間アルゴリズムを構築できます。ここで、$\Gamma(x)=\gamma
(\ガンマ(x))$。
$T(\Gamma(n)^2)=\exp({o(n/\log n)})$ の場合、ランダムな分類ノイズが存在する中でパリティを適切に学習するという長年の未解決の問題が解決されます。
時間 $\exp({o(n/\log n)})$。

要約(オリジナル)

Consider the model where we can access a parity function through random uniform labeled examples in the presence of random classification noise. In this paper, we show that approximating the number of relevant variables in the parity function is as hard as properly learning parities. More specifically, let $\gamma:{\mathbb R}^+\to {\mathbb R}^+$, where $\gamma(x) \ge x$, be any strictly increasing function. In our first result, we show that from any polynomial-time algorithm that returns a $\gamma$-approximation, $D$ (i.e., $\gamma^{-1}(d(f)) \leq D \leq \gamma(d(f))$), of the number of relevant variables~$d(f)$ for any parity $f$, we can, in polynomial time, construct a solution to the long-standing open problem of polynomial-time learning $k(n)$-sparse parities (parities with $k(n)\le n$ relevant variables), where $k(n) = \omega_n(1)$. In our second result, we show that from any $T(n)$-time algorithm that, for any parity $f$, returns a $\gamma$-approximation of the number of relevant variables $d(f)$ of $f$, we can, in polynomial time, construct a $poly(\Gamma(n))T(\Gamma(n)^2)$-time algorithm that properly learns parities, where $\Gamma(x)=\gamma(\gamma(x))$. If $T(\Gamma(n)^2)=\exp({o(n/\log n)})$, this would resolve another long-standing open problem of properly learning parities in the presence of random classification noise in time $\exp({o(n/\log n)})$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google