Low-degree learning and the metric entropy of polynomials

要約

$\mathscr{F}_{n,d}$ を $n$ 次元離散上のすべての関数 $f:\{-1,1\}^n\to[-1,1]$ のクラスとする
最大次数 $d$ の超立方体。
この論文の最初の部分では、$\mathscr{F}_{n,d}$ を $L_2$ 精度 $\varepsilon$ で学習する (決定的またはランダム化された) アルゴリズムには、少なくとも $\Omega(
(1-\sqrt{\varepsilon})2^d\log n)$ は十分な大きさの $n$ をクエリし、エスケナジスとイヴァニスビリの最近の上限の $n\to\infty$ としての鋭さを確立します (2021)
。
これを行うには、$L_2$ パッキング数 $\mathsf{M}(\mathscr{F}_{n,d},\|\cdot\|_{L_2},\varepsilon)$ が
概念クラス $\mathscr{F}_{n,d}$ は両側推定 $$c(1-\varepsilon)2^d\log n \leq \log \mathsf{M}(\mathscr{F
}_{n,d},\|\cdot\|_{L_2},\varepsilon) \leq \frac{2^{Cd}\log n}{\varepsilon^4}$$ は十分な大きさの $n$ です
ここで、$c、C>0$ は汎用定数です。
論文の第 2 部では、フーリエ スペクトルが少数のサブセットに集中している有界近似多項式のクラスのランダム化されたクエリの複雑さの対数上限を示します。
応用として、与えられた次数の近似ジュンタ、急速に減衰するフーリエテールを持つ関数、与えられたサイズの一定深さ回路を学習するために必要なランダムクエリの数の新しい推定を証明します。
最後に、クエリとランダムなサンプル モデルでエラーなしで多項式クラス $\mathscr{F}_{n,d}$ を学習するために必要なクエリの数の限界を取得します。

要約(オリジナル)

Let $\mathscr{F}_{n,d}$ be the class of all functions $f:\{-1,1\}^n\to[-1,1]$ on the $n$-dimensional discrete hypercube of degree at most $d$. In the first part of this paper, we prove that any (deterministic or randomized) algorithm which learns $\mathscr{F}_{n,d}$ with $L_2$-accuracy $\varepsilon$ requires at least $\Omega((1-\sqrt{\varepsilon})2^d\log n)$ queries for large enough $n$, thus establishing the sharpness as $n\to\infty$ of a recent upper bound of Eskenazis and Ivanisvili (2021). To do this, we show that the $L_2$-packing numbers $\mathsf{M}(\mathscr{F}_{n,d},\|\cdot\|_{L_2},\varepsilon)$ of the concept class $\mathscr{F}_{n,d}$ satisfy the two-sided estimate $$c(1-\varepsilon)2^d\log n \leq \log \mathsf{M}(\mathscr{F}_{n,d},\|\cdot\|_{L_2},\varepsilon) \leq \frac{2^{Cd}\log n}{\varepsilon^4}$$ for large enough $n$, where $c, C>0$ are universal constants. In the second part of the paper, we present a logarithmic upper bound for the randomized query complexity of classes of bounded approximate polynomials whose Fourier spectra are concentrated on few subsets. As an application, we prove new estimates for the number of random queries required to learn approximate juntas of a given degree, functions with rapidly decaying Fourier tails and constant depth circuits of given size. Finally, we obtain bounds for the number of queries required to learn the polynomial class $\mathscr{F}_{n,d}$ without error in the query and random example models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google