Conserve-Update-Revise to Cure Generalization and Robustness Trade-off in Adversarial Training

要約

敵対的トレーニングにより、標準化と堅牢な一般化の間のトレードオフが犠牲になりますが、敵対的攻撃に対するニューラル ネットワークの堅牢性が向上します。
この現象を引き起こす根本的な要因を明らかにするために、標準設定から敵対的設定への移行中のニューラル ネットワークの層ごとの学習能力を調べます。
私たちの経験的発見は、他の層を維持しながら特定の層を選択的に更新することで、ネットワークの学習能力を大幅に強化できることを示しています。
したがって、我々は、重みの選択的な保存、更新、修正を実行するために勾配プロミネンス基準を利用する新しいトレーニング フレームワークである CURE を提案します。
重要なのは、CURE はデータセットやアーキテクチャに依存しないように設計されており、さまざまなシナリオに確実に適用できることです。
暗記と過学習の問題の両方に効果的に対処し、堅牢性と一般化の間のトレードオフを強化します。さらに、このトレーニング アプローチは「頑強な過学習」の軽減にも役立ちます。
さらに、私たちの研究は、選択的敵対的トレーニングのメカニズムについて貴重な洞察を提供し、将来の研究に有望な道を提供します。

要約(オリジナル)

Adversarial training improves the robustness of neural networks against adversarial attacks, albeit at the expense of the trade-off between standard and robust generalization. To unveil the underlying factors driving this phenomenon, we examine the layer-wise learning capabilities of neural networks during the transition from a standard to an adversarial setting. Our empirical findings demonstrate that selectively updating specific layers while preserving others can substantially enhance the network’s learning capacity. We therefore propose CURE, a novel training framework that leverages a gradient prominence criterion to perform selective conservation, updating, and revision of weights. Importantly, CURE is designed to be dataset- and architecture-agnostic, ensuring its applicability across various scenarios. It effectively tackles both memorization and overfitting issues, thus enhancing the trade-off between robustness and generalization and additionally, this training approach also aids in mitigating ‘robust overfitting’. Furthermore, our study provides valuable insights into the mechanisms of selective adversarial training and offers a promising avenue for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google