Optimization and Optimizers for Adversarial Robustness

要約

敵対的摂動に対する深層学習モデルの経験的ロバスト性評価 (RE) では、重要な制約付き最適化問題を解決する必要があります。
実際にそれらを解くために一般的に使用されている既存の数値アルゴリズムは、主に射影勾配に依存しており、主に $\ell_1$、$\ell_2$、および $\ell_\infty$ 距離によってモデル化された摂動を処理します。
このホワイト ペーパーでは、汎用の制約付き最適化ソルバー PyGRANSO と制約フォールディング (PWCF) をブレンドした新しいアルゴリズム フレームワークを紹介します。これにより、AutoAttack などの最先端の RE パッケージに信頼性と汎用性を追加できます。
.
信頼性に関しては、PWCF はソリューションの品質を評価するための定常性測定と実現可能性テストを備えたソリューションを提供します。
一般性のために、PWCF は既存の射影勾配法では通常アクセスできない摂動モデルを処理できます。
主な要件は、距離メトリックがほとんどどこでも微分可能であることです。
PWCF およびその他の既存の数値アルゴリズムを利用して、損失、摂動モデル、および最適化アルゴリズムのさまざまな組み合わせを使用して、これらの最適化問題を解決するために見つかったソリューションの個別のパターンをさらに調査します。
次に、現在の堅牢性評価と敵対的トレーニングに対するこれらのパターンの影響について説明します。

要約(オリジナル)

Empirical robustness evaluation (RE) of deep learning models against adversarial perturbations entails solving nontrivial constrained optimization problems. Existing numerical algorithms that are commonly used to solve them in practice predominantly rely on projected gradient, and mostly handle perturbations modeled by the $\ell_1$, $\ell_2$ and $\ell_\infty$ distances. In this paper, we introduce a novel algorithmic framework that blends a general-purpose constrained-optimization solver PyGRANSO with Constraint Folding (PWCF), which can add more reliability and generality to the state-of-the-art RE packages, e.g., AutoAttack. Regarding reliability, PWCF provides solutions with stationarity measures and feasibility tests to assess the solution quality. For generality, PWCF can handle perturbation models that are typically inaccessible to the existing projected gradient methods; the main requirement is the distance metric to be almost everywhere differentiable. Taking advantage of PWCF and other existing numerical algorithms, we further explore the distinct patterns in the solutions found for solving these optimization problems using various combinations of losses, perturbation models, and optimization algorithms. We then discuss the implications of these patterns on the current robustness evaluation and adversarial training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google