Visual Prompting for Adversarial Robustness

要約

この作業では、ビジュアル プロンプト (VP) を活用して、テスト時の固定された事前トレーニング済みモデルの敵対的ロバスト性を向上させます。
従来の敵対的防御と比較して、VP を使用すると、多くの計算オーバーヘッドを導入することなく、テスト時にプラグアンドプレイ機能を備えたユニバーサル (つまり、データに依存しない) 入力プロンプト テンプレートを設計できます。
VP はモデルの一般化を改善するためにうまく適用されていますが、敵対的な攻撃を防御するために VP を使用できるかどうか、またどのように使用できるかはまだわかりません。
この問題を調査し、一般的な入力プロンプトにはサンプル固有の敵対的摂動に対する堅牢な学習能力がないため、バニラ VP アプローチは敵対的防御に効果的ではないことを示します。
それを回避するために、クラスごとの敵対的視覚プロンプト (C-AVP) と呼ばれる新しい VP メソッドを提案して、クラスごとの視覚プロンプトを生成し、アンサンブル プロンプトの長所を活用するだけでなく、それらの相互関係を最適化してモデルを改善します。
堅牢性。
私たちの実験では、C-AVP が従来の VP メソッドよりも優れており、2.1 倍の標準精度ゲインと 2 倍のロバスト精度ゲインを示しています。
従来のテスト時間防御と比較して、C-AVP は 42 倍の推論時間の高速化ももたらします。

要約(オリジナル)

In this work, we leverage visual prompting (VP) to improve adversarial robustness of a fixed, pre-trained model at testing time. Compared to conventional adversarial defenses, VP allows us to design universal (i.e., data-agnostic) input prompting templates, which have plug-and-play capabilities at testing time to achieve desired model performance without introducing much computation overhead. Although VP has been successfully applied to improving model generalization, it remains elusive whether and how it can be used to defend against adversarial attacks. We investigate this problem and show that the vanilla VP approach is not effective in adversarial defense since a universal input prompt lacks the capacity for robust learning against sample-specific adversarial perturbations. To circumvent it, we propose a new VP method, termed Class-wise Adversarial Visual Prompting (C-AVP), to generate class-wise visual prompts so as to not only leverage the strengths of ensemble prompts but also optimize their interrelations to improve model robustness. Our experiments show that C-AVP outperforms the conventional VP method, with 2.1X standard accuracy gain and 2X robust accuracy gain. Compared to classical test-time defenses, C-AVP also yields a 42X inference time speedup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google