Pareto Adversarial Robustness: Balancing Spatial Robustness and Sensitivity-based Robustness

要約

敵対的ロバスト性は、主に感度ベースのロバスト性と空間ロバスト性で構成され、ロバストな一般化を達成する上で不可欠な役割を果たします。
この論文では、普遍的な敵対的堅牢性を達成するための戦略を設計することに努めます。
これを達成するために、私たちはまず空間ロバスト性という比較的あまり研究されていない領域を調査します。
次に、ローカルおよびグローバルの両方の空間脆弱性を統合された空間攻撃および敵対的トレーニングのアプローチに組み込むことにより、既存の空間ロバスト性手法を統合します。
さらに、ロバスト表現の観点からの強力な証拠によって裏付けられた、自然な精度、感度ベースのロバスト性、および空間ロバスト性の間の包括的な関係を示します。
重要なのは、さまざまな堅牢性コンポーネントの相互影響間の相互作用を 1 つの統一フレームワークに調整するために、 \textit{パレート基準} を敵対的堅牢性分析に組み込み、普遍的な堅牢性を達成するためのパレート敵対的トレーニングと呼ばれる新しい戦略を生み出します。
結果として得られるパレート フロントは、最適なソリューションのセットを描写し、自然な精度とさまざまな敵対的な堅牢性の間の最適なバランスを提供します。
これにより、将来的に普遍的な堅牢性を実現するためのソリューションが明らかになります。
私たちの知る限り、私たちは多目的最適化による普遍的な敵対的堅牢性を初めて考慮しました。

要約(オリジナル)

Adversarial robustness, which primarily comprises sensitivity-based robustness and spatial robustness, plays an integral part in achieving robust generalization. In this paper, we endeavor to design strategies to achieve universal adversarial robustness. To achieve this, we first investigate the relatively less-explored realm of spatial robustness. Then, we integrate the existing spatial robustness methods by incorporating both local and global spatial vulnerability into a unified spatial attack and adversarial training approach. Furthermore, we present a comprehensive relationship between natural accuracy, sensitivity-based robustness, and spatial robustness, supported by strong evidence from the perspective of robust representation. Crucially, to reconcile the interplay between the mutual impacts of various robustness components into one unified framework, we incorporate the \textit{Pareto criterion} into the adversarial robustness analysis, yielding a novel strategy called Pareto Adversarial Training for achieving universal robustness. The resulting Pareto front, which delineates the set of optimal solutions, provides an optimal balance between natural accuracy and various adversarial robustness. This sheds light on solutions for achieving universal robustness in the future. To the best of our knowledge, we are the first to consider universal adversarial robustness via multi-objective optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google