When are Local Queries Useful for Robust Learning?

要約

Gourdeau et al. によって、ボール内での厳密なロバストなリスクとランダムな例へのアクセスを考慮する場合、概念クラスのロバストな学習可能性には分布仮定が必要であることが示されています。
（2019年）。
この論文では、ローカル クエリの使用を通じて学習者により多くのパワーが与えられる学習モデルを研究し、この堅牢性の概念に対して堅牢な経験的リスク最小化 (ERM) を実行する最初の分布フリー アルゴリズムを提供します。
私たちが検討する最初の学習モデルはローカル メンバーシップ クエリ (LMQ) を使用しており、学習者はトレーニング サンプルに近い点のラベルをクエリできます。
一様分布の下では、LMQ は論理積やスーパークラス (決定リストや半空間など) のロバストネスしきい値を増加させないことを示します。
この否定的な結果に直面して、局所等価性クエリ ($\mathsf{LEQ}$) オラクルを導入します。これは、トレーニング サンプル内の点の周りの摂動領域で仮説とターゲット概念が一致するかどうか、および反例が存在する場合は反例を返します。
分離結果を示します。一方で、クエリ半径 $\lambda$ が敵対者の摂動バジェット $\rho$ よりも厳密に小さい場合、分散を必要としないロバストな学習はさまざまな概念クラスに対して不可能です。
一方、$\lambda=\rho$ を設定すると、堅牢な ERM アルゴリズムを開発できます。
次に、オンライン学習の保証に基づいてこれらのアルゴリズムのクエリの複雑さを制限し、接続詞の特殊な場合の制限をさらに改善しました。
最後に、$\{0,1\}^n$ の半空間に対する堅牢な学習アルゴリズムを提供し、次に精度制限のある攻撃者に対する $\mathbb{R}^n$ の半空間に対する堅牢性の保証を取得します。

要約(オリジナル)

Distributional assumptions have been shown to be necessary for the robust learnability of concept classes when considering the exact-in-the-ball robust risk and access to random examples by Gourdeau et al. (2019). In this paper, we study learning models where the learner is given more power through the use of local queries, and give the first distribution-free algorithms that perform robust empirical risk minimization (ERM) for this notion of robustness. The first learning model we consider uses local membership queries (LMQ), where the learner can query the label of points near the training sample. We show that, under the uniform distribution, LMQs do not increase the robustness threshold of conjunctions and any superclass, e.g., decision lists and halfspaces. Faced with this negative result, we introduce the local equivalence query ($\mathsf{LEQ}$) oracle, which returns whether the hypothesis and target concept agree in the perturbation region around a point in the training sample, as well as a counterexample if it exists. We show a separation result: on the one hand, if the query radius $\lambda$ is strictly smaller than the adversary’s perturbation budget $\rho$, then distribution-free robust learning is impossible for a wide variety of concept classes; on the other hand, the setting $\lambda=\rho$ allows us to develop robust ERM algorithms. We then bound the query complexity of these algorithms based on online learning guarantees and further improve these bounds for the special case of conjunctions. We finish by giving robust learning algorithms for halfspaces on $\{0,1\}^n$ and then obtaining robustness guarantees for halfspaces in $\mathbb{R}^n$ against precision-bounded adversaries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google