ADAPT to Robustify Prompt Tuning Vision Transformers

要約

視覚変圧器を含むディープモデルのパフォーマンスは、敵対的な攻撃に対して脆弱であることが知られています。
敵対的な訓練など、これらの攻撃に対する多くの既存の防御は、モデルに堅牢性を誘発するためにフルモデルの微調整に依存しています。
これらの防御では、各タスクに対して、数十億のパラメーターを持つことができるモデル全体のコピーを保存する必要があります。
同時に、パラメーター効率の高いプロンプトチューニングを使用して、大規模なコピーを保存する必要なく、大規模なトランスベースのモデルを下流タスクに適応させます。
このホワイトペーパーでは、堅牢性の下での下流タスクの視力変圧器のパラメーター効率の高い迅速な調整を調べます。
迅速な調整パラダイムに適用された場合、以前の敵対的防御方法は、勾配的な原性に苦しみ、適応攻撃に対して脆弱であることを示します。
迅速な調整パラダイムで適応敵対的なトレーニングを実行するための新しいフレームワークであるAdaptを紹介します。
私たちの方法は、〜40％W.R.T。
フルモデルの微調整を使用したSOTA堅牢性メソッド、パラメーターの数の約1％のみを調整します。

要約(オリジナル)

The performance of deep models, including Vision Transformers, is known to be vulnerable to adversarial attacks. Many existing defenses against these attacks, such as adversarial training, rely on full-model fine-tuning to induce robustness in the models. These defenses require storing a copy of the entire model, that can have billions of parameters, for each task. At the same time, parameter-efficient prompt tuning is used to adapt large transformer-based models to downstream tasks without the need to save large copies. In this paper, we examine parameter-efficient prompt tuning of Vision Transformers for downstream tasks under the lens of robustness. We show that previous adversarial defense methods, when applied to the prompt tuning paradigm, suffer from gradient obfuscation and are vulnerable to adaptive attacks. We introduce ADAPT, a novel framework for performing adaptive adversarial training in the prompt tuning paradigm. Our method achieves competitive robust accuracy of ~40% w.r.t. SOTA robustness methods using full-model fine-tuning, by tuning only ~1% of the number of parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google