Defense-Prefix for Preventing Typographic Attacks on CLIP

要約

視覚言語事前トレーニング モデル (VLP) は、さまざまな視覚言語タスクにおいて革新的な改善を示しました。
VLP では、一部の敵対的攻撃によってモデルが騙され、誤ったまたは不合理な分類が行われます。
以前の研究では、モデルを微調整したり、そのアーキテクチャを変更したりすることで、これらの攻撃に対処していました。
ただし、これらの方法は元のモデルのパフォーマンスを失う危険があり、下流のタスクに適用するのは困難です。
特に、他のタスクへの適用可能性は考慮されていません。
この研究では、モデルパラメータを変更せずに、CLIP に対するタイポグラフィ攻撃の影響を軽減することに取り組みました。
これを達成するために、私たちは「プレフィックス学習」のアイデアを拡張し、シンプルかつ効果的なメソッドである Defense-Prefix (DP) を導入します。これは、クラス名の前に DP トークンを挿入して、単語をタイポグラフィー攻撃に対して「堅牢」にします。
提案手法はモデルパラメータに依存しないため、物体検出などの下流タスクに簡単に適用できます。
私たちの方法は、モデルのゼロショット機能を維持しながら、活字攻撃データセットの分類タスクの精度を大幅に向上させます。
さらに、提案した手法を物体検出に活用し、その高い適用性と有効性を実証しました。
コードとデータセットは https://github.com/azuma164/ Defense-Prefix で入手できます。

要約(オリジナル)

Vision-language pre-training models (VLPs) have exhibited revolutionary improvements in various vision-language tasks. In VLP, some adversarial attacks fool a model into false or absurd classifications. Previous studies addressed these attacks by fine-tuning the model or changing its architecture. However, these methods risk losing the original model’s performance and are difficult to apply to downstream tasks. In particular, their applicability to other tasks has not been considered. In this study, we addressed the reduction of the impact of typographic attacks on CLIP without changing the model parameters. To achieve this, we expand the idea of ‘prefix learning’ and introduce our simple yet effective method: Defense-Prefix (DP), which inserts the DP token before a class name to make words ‘robust’ against typographic attacks. Our method can be easily applied to downstream tasks, such as object detection, because the proposed method is independent of the model parameters. Our method significantly improves the accuracy of classification tasks for typographic attack datasets, while maintaining the zero-shot capabilities of the model. In addition, we leverage our proposed method for object detection, demonstrating its high applicability and effectiveness. The codes and datasets are available at https://github.com/azuma164/Defense-Prefix.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google