Defense-Prefix for Preventing Typographic Attacks on CLIP

要約

【タイトル】CLIPのタイポグラフィ攻撃を防止するための防御接頭辞

【要約】

– Vision-language pre-training models（VLP）は、様々なビジョン・ランゲージタスクで革新的な進歩を見せています。
– ただし、VLPでは、いくつかの敵対的攻撃が、モデルを偽のまたは不合理な分類に騙す可能性があります。
– これらの攻撃に対処する方法として、これまでに、モデルの微調整やアーキテクチャの変更などが行われてきましたが、これらの方法は元のモデルのパフォーマンスを損なうリスクがあるため、ダウンストリームタスクに適用するのは難しい場合が多くあります。
– そこで、本研究では、モデルのパラメータを変更せずに、CLIP上のタイポグラフィ攻撃の影響を低減することを目的に、prefix learningというアイデアを拡張し、Defense-Prefix（DP）というシンプルで効果的な方法を導入しました。
– この方法は、クラス名の前にDPトークンを挿入して、単語を「堅牢」にすることで、タイポグラフィ攻撃に対して効果的です。
– 本研究の提案方法は、モデルパラメータに依存しないため、オブジェクト検出などのダウンストリームタスクに簡単に適用することができます。
– 本研究の手法は、タイポグラフィ攻撃用のデータセットに対する分類タスクの精度を大幅に向上させ、モデルのゼロショット能力を維持します。
– また、提案手法をオブジェクト検出に活用し、その高い適用性と効果を実証しています。
– コードとデータセットは公開されます。

要約(オリジナル)

Vision-language pre-training models (VLPs) have exhibited revolutionary improvements in various vision-language tasks. In VLP, some adversarial attacks fool a model into false or absurd classifications. Previous studies addressed these attacks by fine-tuning the model or changing its architecture. However, these methods risk losing the original model’s performance and are difficult to apply to downstream tasks. In particular, their applicability to other tasks has not been considered. In this study, we addressed the reduction of the impact of typographic attacks on CLIP without changing the model parameters. To achieve this, we expand the idea of “prefix learning” and introduce our simple yet effective method: Defense-Prefix (DP), which inserts the DP token before a class name to make words “robust” against typographic attacks. Our method can be easily applied to downstream tasks, such as object detection, because the proposed method is independent of the model parameters. Our method significantly improves the accuracy of classification tasks for typographic attack datasets, while maintaining the zero-shot capabilities of the model. In addition, we leverage our proposed method for object detection, demonstrating its high applicability and effectiveness. The codes and datasets will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI