Algorithms and SQ Lower Bounds for Robustly Learning Real-valued Multi-index Models

要約

ガウス分布の下で、実質値のマルチインデックスモデル（MIM）を学習する複雑さを研究します。
A $ k $ -Mimは関数$ f：\ mathbb {r}^d \ to \ mathbb {r} $です。
敵対的なラベルノイズが存在する場合でも、四角の損失に関して広範なクラスのMIMを学習するための一般的なアルゴリズムを提供します。
さらに、ほぼ一致する統計クエリ（SQ）の下限を確立し、アルゴリズムの複雑さが次元の関数として定性的に最適であるという証拠を提供します。
具体的には、任意の部分空間への投影に関して、最大$ m $の際立った瞬間が存在するという特性を持つ境界変動MIMのクラスを考慮します。
敵対ラベルノイズの存在下では、学習アルゴリズムの複雑さは$ d^{o（m）} 2^{\ mathrm {poly}（k/\ epsilon）} $です。
実現可能な独立したノイズ設定の場合、アルゴリズムには複雑さ$ d^{o（m）} 2^{\ mathrm {poly}（k）}（1/\ epsilon）^{o（k）} $が発生します。
上限を補完するために、一部の部分空間度-M $の識別モーメントが存在しない場合、対応するクラスのMIMSのSQ学習者は複雑さ$ d^{\ Omega（M）} $を必要とすることを示します。
アプリケーションとして、肯定的な相性$ l $ -lipschitz $ k $ -mimsのクラスの最初の効率的な学習者を提供します。
結果のアルゴリズムには、複雑さ$ \ mathrm {poly}（d）2^{\ mathrm {poly}（kl/\ epsilon）} $があります。
これにより、ネットワークサイズとは無関係に複雑さを備えたLipschitzの均質なリラウネットワークの新しいPAC学習アルゴリズムが提供され、以前の作業で発生した指数依存性が削除されます。

要約(オリジナル)

We study the complexity of learning real-valued Multi-Index Models (MIMs) under the Gaussian distribution. A $K$-MIM is a function $f:\mathbb{R}^d\to \mathbb{R}$ that depends only on the projection of its input onto a $K$-dimensional subspace. We give a general algorithm for PAC learning a broad class of MIMs with respect to the square loss, even in the presence of adversarial label noise. Moreover, we establish a nearly matching Statistical Query (SQ) lower bound, providing evidence that the complexity of our algorithm is qualitatively optimal as a function of the dimension. Specifically, we consider the class of bounded variation MIMs with the property that degree at most $m$ distinguishing moments exist with respect to projections onto any subspace. In the presence of adversarial label noise, the complexity of our learning algorithm is $d^{O(m)}2^{\mathrm{poly}(K/\epsilon)}$. For the realizable and independent noise settings, our algorithm incurs complexity $d^{O(m)}2^{\mathrm{poly}(K)}(1/\epsilon)^{O(K)}$. To complement our upper bound, we show that if for some subspace degree-$m$ distinguishing moments do not exist, then any SQ learner for the corresponding class of MIMs requires complexity $d^{\Omega(m)}$. As an application, we give the first efficient learner for the class of positive-homogeneous $L$-Lipschitz $K$-MIMs. The resulting algorithm has complexity $\mathrm{poly}(d) 2^{\mathrm{poly}(KL/\epsilon)}$. This gives a new PAC learning algorithm for Lipschitz homogeneous ReLU networks with complexity independent of the network size, removing the exponential dependence incurred in prior work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google