Going Further: Flatness at the Rescue of Early Stopping for Adversarial Example Transferability

要約

転移可能性は、敵対的な例が作成された代理モデル以外のモデルによって誤って分類される性質です。
以前の研究では、サロゲート モデルのトレーニングを早期に停止すると、移行可能性が大幅に向上することが示されています。
これを説明する一般的な仮説は、ディープ ニューラル ネットワーク (DNN) が最初に堅牢な特徴を学習し、その特徴がより汎用的であるため、より優れた代替となるというものです。
その後、後のエポックで、DNN はより脆弱な非ロバストな特徴を学習するため、最悪の代用となります。
まず、私たちは表現の類似性の代用として伝達可能性を使用して、この仮説を反駁する傾向があります。
次に、早期停止によって影響を受けるシャープネスに焦点を当てて、伝達可能性とパラメータ空間における損失状況の探索との間の関連性を確立します。
これにより、損失値と損失のシャープネスの両方を最小化する 7 つのミニマイザーでトレーニングされた代理モデルを評価することができます。
その中で、SAM は常に早期停止を最大 28.8 パーセントポイント上回っています。
私たちは、大規模な平坦な近傍からの強力な SAM 正則化が転送可能性と密接に関係していることを発見しました。
最後に、最高のシャープネスを意識したミニマイザーは、他のトレーニング方法と競合することが証明されており、既存の転送可能性テクニックを補完します。

要約(オリジナル)

Transferability is the property of adversarial examples to be misclassified by other models than the surrogate model for which they were crafted. Previous research has shown that early stopping the training of the surrogate model substantially increases transferability. A common hypothesis to explain this is that deep neural networks (DNNs) first learn robust features, which are more generic, thus a better surrogate. Then, at later epochs, DNNs learn non-robust features, which are more brittle, hence worst surrogate. First, we tend to refute this hypothesis, using transferability as a proxy for representation similarity. We then establish links between transferability and the exploration of the loss landscape in parameter space, focusing on sharpness, which is affected by early stopping. This leads us to evaluate surrogate models trained with seven minimizers that minimize both loss value and loss sharpness. Among them, SAM consistently outperforms early stopping by up to 28.8 percentage points. We discover that the strong SAM regularization from large flat neighborhoods tightly links to transferability. Finally, the best sharpness-aware minimizers prove competitive with other training methods and complement existing transferability techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google