Exploring the Adversarial Robustness of CLIP for AI-generated Image Detection

要約

近年、AI が生成した画像を検出し、悪意のある目的での使用を防止するための多くのフォレンジック検出器が提案されています。
畳み込みニューラル ネットワーク (CNN) は、長い間この分野で主流のアーキテクチャであり、熱心な研究の対象となってきました。
ただし、最近提案された Transformer ベースの検出器は、特に一般化の観点から、CNN ベースの検出器と同等、またはそれを上回る性能を示すことが示されています。
この論文では、Visual Transformer (ViT) バックボーンに依存する Contrastive Language-Image Pretraining (CLIP) ベースの手法に焦点を当て、そのパフォーマンスを CNN ベースの手法と比較しながら、AI で生成された画像検出器の敵対的堅牢性を研究します。
私たちは、さまざまな条件下でさまざまな敵対的攻撃に対する堅牢性を研究し、数値結果と周波数領域パターンの両方を分析します。
CLIP ベースの検出器は、CNN ベースの検出器と同様に、ホワイトボックス攻撃に対して脆弱であることがわかっています。
ただし、CNN ベースの方法と CLIP ベースの方法の間で攻撃が簡単に移行することはありません。
これは、周波数領域における敵対的なノイズ パターンの分布の違いによっても確認されます。
全体として、この分析は、より効果的な戦略の開発に役立つフォレンジック検出器の特性についての新たな洞察を提供します。

要約(オリジナル)

In recent years, many forensic detectors have been proposed to detect AI-generated images and prevent their use for malicious purposes. Convolutional neural networks (CNNs) have long been the dominant architecture in this field and have been the subject of intense study. However, recently proposed Transformer-based detectors have been shown to match or even outperform CNN-based detectors, especially in terms of generalization. In this paper, we study the adversarial robustness of AI-generated image detectors, focusing on Contrastive Language-Image Pretraining (CLIP)-based methods that rely on Visual Transformer (ViT) backbones and comparing their performance with CNN-based methods. We study the robustness to different adversarial attacks under a variety of conditions and analyze both numerical results and frequency-domain patterns. CLIP-based detectors are found to be vulnerable to white-box attacks just like CNN-based detectors. However, attacks do not easily transfer between CNN-based and CLIP-based methods. This is also confirmed by the different distribution of the adversarial noise patterns in the frequency domain. Overall, this analysis provides new insights into the properties of forensic detectors that can help to develop more effective strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google