Few-Shot Adversarial Prompt Learning on Vision-Language Models

要約

知覚できない敵対的な摂動に対するディープ ニューラル ネットワークの脆弱性は、広く注目を集めています。
ビジョン言語基盤モデルの成功に触発されて、これまでの取り組みでは、敵対的な視覚機能をテキスト監視と連携させることで、ゼロショット敵対的な堅牢性を実現しました。
しかし、実際には、多額の適応コスト、最適とは言えないテキストの監視、制御されていない自然な汎化能力など、いくつかの問題があるため、依然として満足のいくものではありません。
この論文では、これらの問題に対処するために、限られたデータで入力シーケンスを適応させることで敵対的ロバスト性が大幅に向上する、少数ショット敵対的プロンプト フレームワークを提案します。
具体的には、敵対的な例からエンドツーエンドで学習した、敵対的に相関するテキスト監視を提供することでこれを実現します。
また、自然な例と敵対的な例の間で差別化されたユニモーダルな特徴を促進しながら、マルチモーダルな特徴の一貫性を強化する新しいトレーニング目標も提案します。
提案されたフレームワークは、敵対的テキスト監視を学習するためのアクセスを提供します。これにより、優れたクロスモーダル敵対的調整が提供され、わずか 1% のトレーニング データで最先端のゼロショット敵対的堅牢性が実現されます。
コードは https://github.com/lionel-w2/FAP で入手できます。

要約(オリジナル)

The vulnerability of deep neural networks to imperceptible adversarial perturbations has attracted widespread attention. Inspired by the success of vision-language foundation models, previous efforts achieved zero-shot adversarial robustness by aligning adversarial visual features with text supervision. However, in practice, they are still unsatisfactory due to several issues, including heavy adaptation cost, suboptimal text supervision, and uncontrolled natural generalization capacity. In this paper, to address these issues, we propose a few-shot adversarial prompt framework where adapting input sequences with limited data makes significant adversarial robustness improvement. Specifically, we achieve this by providing adversarially correlated text supervision that is end-to-end learned from adversarial examples. We also propose a novel training objective that enhances the consistency of multi-modal features while encourages differentiated uni-modal features between natural and adversarial examples. The proposed framework gives access to learn adversarial text supervision, which provides superior cross-modal adversarial alignment and matches state-of-the-art zero-shot adversarial robustness with only 1% training data. Code is available at: https://github.com/lionel-w2/FAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google