Improving Interpretability and Robustness for the Detection of AI-Generated Images

要約

生成モデルの能力が向上するにつれて、人為的なコンテンツ検出はますます重要かつ困難なタスクになっています。
ただし、この問題に対する一般的なアプローチはすべて、ドメインや生成モデル全体での一般化が不十分であるという問題があります。
この研究では、AI 生成画像 (AIGI) 検出器の堅牢性に焦点を当てます。
私たちは、フリーズされた CLIP 埋め込みに基づいて既存の最先端の AIGI 検出方法を分析し、それらを解釈する方法を示し、さまざまな AI ジェネレーターによって生成された画像が実際の画像とどのように異なるかを明らかにします。
次に、堅牢性を向上させるための 2 つの方法を提案します。埋め込みベクトルの有害なコンポーネントを除去することに基づく方法と、画像エンコーダ モデルで最もパフォーマンスの高いアテンション ヘッドを選択することに基づく方法です。
私たちの方法では、モデル間転送の平均分布外 (OOD) 分類スコアが最大 6% 増加します。
また、AIGI 検出用の新しいデータセットを提案し、それを評価に使用します。
このデータセットはさらなる研究を促進するのに役立つと信じています。
データセットとコードは補足として提供されます。

要約(オリジナル)

With growing abilities of generative models, artificial content detection becomes an increasingly important and difficult task. However, all popular approaches to this problem suffer from poor generalization across domains and generative models. In this work, we focus on the robustness of AI-generated image (AIGI) detectors. We analyze existing state-of-the-art AIGI detection methods based on frozen CLIP embeddings and show how to interpret them, shedding light on how images produced by various AI generators differ from real ones. Next we propose two ways to improve robustness: based on removing harmful components of the embedding vector and based on selecting the best performing attention heads in the image encoder model. Our methods increase the mean out-of-distribution (OOD) classification score by up to 6% for cross-model transfer. We also propose a new dataset for AIGI detection and use it in our evaluation; we believe this dataset will help boost further research. The dataset and code are provided as a supplement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google