Understanding Zero-Shot Adversarial Robustness for Large-Scale Models

要約

タイトル：大規模モデルのゼロショット対応の理解

要約：
– 大規模な画像や言語のモデル（CLIP）は未知のタスクに対して強力な汎化能力を持っている。
– しかし、無意識の敵対的摂動があると、このモデルの性能は大幅に低下する。
– 本研究では、「大規模モデルのゼロショット対応の理解」という問題を特定し、モデル適応においてトレーニング損失と適応方法の2つの要因が、モデルのゼロショット対応性にどのように影響するかを探求する。
– 次に、テキストによる対抗的トレーニング損失を提案し、学習データの小さなセットで対照的学習を行うことで、テキストの埋め込みと敵対的なビジュアル特徴を整列させる。
– このトレーニング損失を、モデルの微調整とビジュアルプロンプトの調整の2つの適応方法に適用する。
– テキストガイダンスがない場合はビジュアルプロンプト調整が、テキストガイダンスがある場合は微調整が効果的であることがわかった。
– 全体的に、このアプローチは、ImageNetと15のゼロショットデータセットで平均31ポイント以上の改善をもたらし、CLIPのゼロショット対応性を大幅に向上させる。

要約(オリジナル)

Pretrained large-scale vision-language models like CLIP have exhibited strong generalization over unseen tasks. Yet imperceptible adversarial perturbations can significantly reduce CLIP’s performance on new tasks. In this work, we identify and explore the problem of \emph{adapting large-scale models for zero-shot adversarial robustness}. We first identify two key factors during model adaption — training losses and adaptation methods — that affect the model’s zero-shot adversarial robustness. We then propose a text-guided contrastive adversarial training loss, which aligns the text embeddings and the adversarial visual features with contrastive learning on a small set of training data. We apply this training loss to two adaption methods, model finetuning and visual prompt tuning. We find that visual prompt tuning is more effective in the absence of texts, while finetuning wins in the existence of text guidance. Overall, our approach significantly improves the zero-shot adversarial robustness over CLIP, seeing an average improvement of over 31 points over ImageNet and 15 zero-shot datasets. We hope this work can shed light on understanding the zero-shot adversarial robustness of large-scale models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI