Can overfitted deep neural networks in adversarial training generalize? — An approximation viewpoint

要約

敵対的トレーニングは、敵対的摂動に対するディープ ニューラル ネットワーク (DNN) の堅牢性を向上させるために広く使用されている方法です。
ただし、過剰パラメータ化されたネットワークでの敵対的トレーニングは \textit{堅牢な過学習} に悩まされることが多いことが経験的に観察されています。つまり、堅牢な汎化パフォーマンスは期待できませんが、ほぼゼロの敵対的トレーニング エラーを達成できます。
この論文では、敵対的トレーニングにおける過適合 DNN が近似の観点から一般化できるかどうかという問題について理論的な理解を提供します。
具体的には、私たちの主な結果は次の 3 つに要約されます。 i) 分類については、任意に小さい敵対的トレーニング誤差 (過剰適合) を取得し、良好なロバストな汎化誤差を達成する、過剰パラメータ化された DNN 上で無限に多くの敵対的トレーニング分類器が存在することを構築によって証明します。
データ品質、十分な分離、および摂動レベルに関する特定の条件下で。
ii) ターゲット関数が十分に滑らかであれば、線形オーバーパラメータ化 (パラメータの数がサンプル サイズよりわずかに大きいだけであることを意味します) でその存在を保証するのに十分です。
iii) 回帰に関して、我々の結果は、標準汎化誤差に対してほぼ最適な収束率を達成できる、敵対的トレーニングにおいて線形過パラメータ化を伴う過適合 DNN が無数に存在することを示しています。
全体として、私たちの分析は、堅牢な過学習は回避できるが、必要なモデル能力はターゲット関数の滑らかさに依存し、一方で堅牢な汎化ギャップは避けられないことを指摘しています。
私たちの分析により、近似の観点から DNN のロバスト性の数学的基礎がよりよく理解できるようになることを願っています。

要約(オリジナル)

Adversarial training is a widely used method to improve the robustness of deep neural networks (DNNs) over adversarial perturbations. However, it is empirically observed that adversarial training on over-parameterized networks often suffers from the \textit{robust overfitting}: it can achieve almost zero adversarial training error while the robust generalization performance is not promising. In this paper, we provide a theoretical understanding of the question of whether overfitted DNNs in adversarial training can generalize from an approximation viewpoint. Specifically, our main results are summarized into three folds: i) For classification, we prove by construction the existence of infinitely many adversarial training classifiers on over-parameterized DNNs that obtain arbitrarily small adversarial training error (overfitting), whereas achieving good robust generalization error under certain conditions concerning the data quality, well separated, and perturbation level. ii) Linear over-parameterization (meaning that the number of parameters is only slightly larger than the sample size) is enough to ensure such existence if the target function is smooth enough. iii) For regression, our results demonstrate that there also exist infinitely many overfitted DNNs with linear over-parameterization in adversarial training that can achieve almost optimal rates of convergence for the standard generalization error. Overall, our analysis points out that robust overfitting can be avoided but the required model capacity will depend on the smoothness of the target function, while a robust generalization gap is inevitable. We hope our analysis will give a better understanding of the mathematical foundations of robustness in DNNs from an approximation view.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google