Agnostic proper learning of monotone functions: beyond the black-box correction barrier

要約

単調ブール関数に対する初めての、不可知論的で効率的で適切な学習アルゴリズムを提供します。
$2^{\tilde{O}(\sqrt{n}/\varepsilon)}$ が与えられた未知の関数の一様ランダムな例 $f:\{\pm 1\}^n \rightarrow \{\pm 1\}$
の場合、アルゴリズムは単調で $f$ に近い $(\mathrm{opt} + \varepsilon)$ である仮説 $g:\{\pm 1\}^n \rightarrow \{\pm 1\}$ を出力します。
ここで、$\mathrm{opt}$ は $f$ から最も近い単調関数までの距離です。
アルゴリズムの実行時間 (したがって仮説のサイズと評価時間) も $2^{\tilde{O}(\sqrt{n}/\varepsilon)}$ であり、Blais らの下限とほぼ一致しています。
(ランダム’15)。
また、$2^{\tilde{O}(\sqrt{n}/\varepsilon) の実行時間を使用して、未知の関数 $f$ から単調までの距離を加算誤差 $\varepsilon$ まで推定するアルゴリズムも提供します。
}$。
以前は、これらの両方の問題について、サンプル効率の高いアルゴリズムが知られていましたが、これらのアルゴリズムは実行時には効率的ではありませんでした。
したがって、私たちの研究は、実行時とサンプルの複雑さの間の知識のギャップを埋めるものです。
この研究は、Bshouty と Tamon (JACM ’96) の不適切な学習アルゴリズムと、Lange、Rubinfeld、および Vasilyan (FOCS ’22) の適切な半不可知学習アルゴリズムに基づいて構築されており、非単調ブール値仮説を取得します。
グラフ上でクエリ効率の高いローカル計算アルゴリズムを使用して、それを単調に修正します。
このブラックボックス修正アプローチでは、理論的に $2\mathrm{opt} + \varepsilon$ 情報以上のエラーは達成できません。
この障壁は、a) 凸最適化ステップで不適切な学習器を強化すること、b) 値をブール値に丸める前に実数値関数を学習して修正することによって、この障壁を回避します。
私たちの実数値補正アルゴリズムは、非ブール ラベルを持つ一般的なポーズセットに対する関数に対する [LRV22] の「ポーズ ソート」問題を解決します。

要約(オリジナル)

We give the first agnostic, efficient, proper learning algorithm for monotone Boolean functions. Given $2^{\tilde{O}(\sqrt{n}/\varepsilon)}$ uniformly random examples of an unknown function $f:\{\pm 1\}^n \rightarrow \{\pm 1\}$, our algorithm outputs a hypothesis $g:\{\pm 1\}^n \rightarrow \{\pm 1\}$ that is monotone and $(\mathrm{opt} + \varepsilon)$-close to $f$, where $\mathrm{opt}$ is the distance from $f$ to the closest monotone function. The running time of the algorithm (and consequently the size and evaluation time of the hypothesis) is also $2^{\tilde{O}(\sqrt{n}/\varepsilon)}$, nearly matching the lower bound of Blais et al (RANDOM ’15). We also give an algorithm for estimating up to additive error $\varepsilon$ the distance of an unknown function $f$ to monotone using a run-time of $2^{\tilde{O}(\sqrt{n}/\varepsilon)}$. Previously, for both of these problems, sample-efficient algorithms were known, but these algorithms were not run-time efficient. Our work thus closes this gap in our knowledge between the run-time and sample complexity. This work builds upon the improper learning algorithm of Bshouty and Tamon (JACM ’96) and the proper semiagnostic learning algorithm of Lange, Rubinfeld, and Vasilyan (FOCS ’22), which obtains a non-monotone Boolean-valued hypothesis, then “corrects” it to monotone using query-efficient local computation algorithms on graphs. This black-box correction approach can achieve no error better than $2\mathrm{opt} + \varepsilon$ information-theoretically; we bypass this barrier by a) augmenting the improper learner with a convex optimization step, and b) learning and correcting a real-valued function before rounding its values to Boolean. Our real-valued correction algorithm solves the “poset sorting” problem of [LRV22] for functions over general posets with non-Boolean labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google