Criticality Leveraged Adversarial Training (CLAT) for Boosted Performance via Parameter Efficiency

要約

敵対的トレーニングはニューラル ネットワークの堅牢性を高めますが、クリーンなデータでは過剰適合と一般化エラーの増加の傾向に悩まされます。
この研究では、敵対的トレーニング プロセスにパラメータ効率を導入することで敵対的オーバーフィッティングを軽減する革新的なアプローチである CLAT を導入し、クリーンな精度と敵対的堅牢性の両方を向上させます。
CLAT は、モデル全体を調整するのではなく、ロバスト性が重要な層 (主に非ロバスト機能を学習する層) を特定して微調整し、残りのモデルをフリーズしてロバスト性を強化します。
動的なクリティカル レイヤ選択を採用し、微調整プロセス全体を通じてレイヤのクリティカル度の変化に適応します。
経験的に、CLAT は既存の敵対的トレーニング方法に加えて適用でき、トレーニング可能なパラメーターの数が約 95% 大幅に削減され、ベースライン方法と比較して敵対的堅牢性が 2% 以上向上します。

要約(オリジナル)

Adversarial training enhances neural network robustness but suffers from a tendency to overfit and increased generalization errors on clean data. This work introduces CLAT, an innovative approach that mitigates adversarial overfitting by introducing parameter efficiency into the adversarial training process, improving both clean accuracy and adversarial robustness. Instead of tuning the entire model, CLAT identifies and fine-tunes robustness-critical layers – those predominantly learning non-robust features – while freezing the remaining model to enhance robustness. It employs dynamic critical layer selection to adapt to changes in layer criticality throughout the fine-tuning process. Empirically, CLAT can be applied on top of existing adversarial training methods, significantly reduces the number of trainable parameters by approximately 95%, and achieves more than a 2% improvement in adversarial robustness compared to baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google