Understanding Adversarial Training with Energy-based Models

要約

エネルギーベースのモデル（EBM）フレームワークを使用して、分類器の敵対的訓練（AT）をよりよく理解し、さらに堅牢な分類器の固有の生成機能を分析することを目指しています。
エネルギーレンズを介して標準分類子を表示することにより、さまざまな攻撃によって生成される敵対的な例のエネルギーが、天然サンプルのエネルギーとどのように異なるかを分析することから始めます。
私たちの仕事の中心的な焦点は、エネルギーの観点から、壊滅的な過剰適合（CO）と堅牢な過剰封入（RO）の重要な現象を理解することです。
トレーニング中のサンプルのエネルギーに対する既存のアプローチの影響を分析し、「デルタエネルギー」（元のサンプルとその敵対的な対応物の間のエネルギーの変化）の挙動がCOまたはROが発生すると大幅に分岐することを観察します。
これらのエネルギーダイナミクスと過剰適合との関係を徹底的に分析した後、トレーニング中にエネルギー環境を滑らかにするように設計された新しい正規容器であるデルタエネルギーの正規容器（DER）を提案します。
DERは、複数のベンチマークにわたってCOとROの両方を緩和するのに効果的であることを実証します。
さらに、生成モデルとして使用されている場合、堅牢な分類器は、画質と変動性の間のトレードオフを処理する制限があることを示しています。
ローカルクラスごとの主成分分析（PCA）と、より良いクラス固有の初期化と適応停止のためのエネルギーベースのガイダンスに基づいて改善された手法を提案し、サンプルの多様性と生成品質を向上させます。
生成モデリングのために明示的にトレーニングしないことを考慮すると、ハイブリッドの識別生成モデルと比較して、競争力のあるインセプションスコア（IS）およびFR \ ‘Echet Inception距離（FID）を達成します。

要約(オリジナル)

We aim at using Energy-based Model (EBM) framework to better understand adversarial training (AT) in classifiers, and additionally to analyze the intrinsic generative capabilities of robust classifiers. By viewing standard classifiers through an energy lens, we begin by analyzing how the energies of adversarial examples, generated by various attacks, differ from those of the natural samples. The central focus of our work is to understand the critical phenomena of Catastrophic Overfitting (CO) and Robust Overfitting (RO) in AT from an energy perspective. We analyze the impact of existing AT approaches on the energy of samples during training and observe that the behavior of the “delta energy’ — change in energy between original sample and its adversarial counterpart — diverges significantly when CO or RO occurs. After a thorough analysis of these energy dynamics and their relationship with overfitting, we propose a novel regularizer, the Delta Energy Regularizer (DER), designed to smoothen the energy landscape during training. We demonstrate that DER is effective in mitigating both CO and RO across multiple benchmarks. We further show that robust classifiers, when being used as generative models, have limits in handling trade-off between image quality and variability. We propose an improved technique based on a local class-wise principal component analysis (PCA) and energy-based guidance for better class-specific initialization and adaptive stopping, enhancing sample diversity and generation quality. Considering that we do not explicitly train for generative modeling, we achieve a competitive Inception Score (IS) and Fr\’echet inception distance (FID) compared to hybrid discriminative-generative models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google