The Surprising Harmfulness of Benign Overfitting for Adversarial Robustness

要約

最近の実証的および理論的研究により、ノイズの多いデータに (ほぼまたは正確に) 適合するようにトレーニングされた大規模な機械学習モデルの一般化機能が確立されました。
この研究では、グラウンド トゥルース自体が敵対的な例に対して堅牢であり、良性過適合モデルが「標準」サンプル外リスク目標の観点から良性であるとしても、この良性過適合プロセスは、驚くべき結果を証明します。
サンプル外のデータが敵対的な操作の対象となる場合、有害になる可能性があります。
より具体的には、私たちの主な結果には 2 つの部分が含まれています。(i) 過パラメータ化された線形モデルの最小ノルム推定量は、常に「良性の過学習」設定で敵対的な脆弱性をもたらします。
(ii) すべてのリッジ回帰推定量の標準リスクと「敵対的」リスクの間の漸近的なトレードオフ結果を検証します。これは、適切な条件下では、これら 2 つの項目が、単一の選択によって同時に小さくなることはありえないことを意味します。
リッジ正則化パラメータ。
さらに、遅延トレーニング体制の下で、2 層ニューラル タンジェント カーネル (NTK) モデルの並列結果を実証します。これは、ディープ ニューラル ネットワークの経験的観察と一致します。
私たちの発見は、実際に観察される不可解な現象に対する理論的な洞察を提供します。真のターゲット関数 (例: 人間) は敵対的な攻撃に対して堅牢である一方で、最初に過剰適合したニューラル ネットワークは堅牢ではないモデルをもたらします。

要約(オリジナル)

Recent empirical and theoretical studies have established the generalization capabilities of large machine learning models that are trained to (approximately or exactly) fit noisy data. In this work, we prove a surprising result that even if the ground truth itself is robust to adversarial examples, and the benignly overfitted model is benign in terms of the “standard” out-of-sample risk objective, this benign overfitting process can be harmful when out-of-sample data are subject to adversarial manipulation. More specifically, our main results contain two parts: (i) the min-norm estimator in overparameterized linear model always leads to adversarial vulnerability in the “benign overfitting” setting; (ii) we verify an asymptotic trade-off result between the standard risk and the “adversarial” risk of every ridge regression estimator, implying that under suitable conditions these two items cannot both be small at the same time by any single choice of the ridge regularization parameter. Furthermore, under the lazy training regime, we demonstrate parallel results on two-layer neural tangent kernel (NTK) model, which align with empirical observations in deep neural networks. Our finding provides theoretical insights into the puzzling phenomenon observed in practice, where the true target function (e.g., human) is robust against adverasrial attack, while beginly overfitted neural networks lead to models that are not robust.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google