Agnostic Learning under Targeted Poisoning: Optimal Rates and the Role of Randomness

要約

我々は、特定のテストポイントで失敗を引き起こすことを目的として、訓練例の$θeta$分数を破損することができる敵の存在下での学習問題を研究する。実現可能な設定において、先行研究は、このようなインスタンス標的ポイズニング攻撃の下での最適誤差が$Theta(deta)$のようにスケールすることを確立した、ここで$d$は仮説クラスのVC次元である arXiv:2210.02713.本研究では、不可知論的設定における対応する問題を解決する。最適な過剰誤差は$tilde{θ}( \sqrt{deta})$ であることを示し、Hannekeらが残した主な未解決問題の1つに答える：Hannekeらは、少量のポイズニングの下でも、決定論的学習者が1に近い誤差を被ることを強制できることを示した。おそらく驚くべきことに、学習者のランダムビットが敵に完全に見えている場合でも、我々の上限は有効である。もう一つの方向として、我々の下界は標準的なPACスタイルの下界よりも強い。各サンプルサイズに対して個別にハード分布を調整する代わりに、我々は敵対者が$Omega(˶‾᷄‾᷅˵)$の過剰誤差を無限に強制できる単一の固定分布を示す。

要約(オリジナル)

We study the problem of learning in the presence of an adversary that can corrupt an $\eta$ fraction of the training examples with the goal of causing failure on a specific test point. In the realizable setting, prior work established that the optimal error under such instance-targeted poisoning attacks scales as $\Theta(d\eta)$, where $d$ is the VC dimension of the hypothesis class arXiv:2210.02713. In this work, we resolve the corresponding question in the agnostic setting. We show that the optimal excess error is $\tilde{\Theta}(\sqrt{d\eta})$, answering one of the main open problems left by Hanneke et al. To achieve this rate, it is necessary to use randomized learners: Hanneke et al. showed that deterministic learners can be forced to suffer error close to 1, even under small amounts of poisoning. Perhaps surprisingly, our upper bound remains valid even when the learner’s random bits are fully visible to the adversary . In the other direction, our lower bound is stronger than standard PAC-style bounds: instead of tailoring a hard distribution separately for each sample size, we exhibit a single fixed distribution under which the adversary can enforce an excess error of $\Omega(\sqrt{d\eta})$ infinitely often.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL