AntifakePrompt: Prompt-Tuned Vision-Language Models are Fake Image Detectors

要約

ディープ生成モデルは、驚くほどフォトリアリスティックな偽画像を作成できる一方で、ディープフェイクの脅威として知られる誤った情報や著作権侵害に対する懸念を引き起こします。
ディープフェイク検出技術は、本物の画像と偽の画像を区別するために開発されており、既存の方法は通常、画像ドメインまたはさまざまな特徴ドメインで分類器を学習します。
ただし、新興のより高度な生成モデルに対するディープフェイク検出の一般化は依然として課題です。
この論文では、視覚言語モデル (VLM) のゼロショットの利点に触発され、VLM (InstructBLIP など) を使用した新しいアプローチと、目に見えないデータに対するディープフェイクの検出精度を向上させるためのプロンプト チューニング技術を提案します。
ディープフェイク検出を視覚的な質問応答問題として定式化し、クエリ画像の本物/偽情報に答えるために InstructBLIP のソフト プロンプトを調整します。
私たちは、最新のテキストから画像への生成、画像編集、画像攻撃をカバーする、3 つのホールドイン生成モデルと 13 のホールドアウト生成モデルからのデータセットに対してフルスペクトル実験を実施します。
結果は、(1) 事前にトレーニングされた視覚言語モデルを迅速に調整することで、ディープフェイクの検出精度を大幅かつ一貫して向上させることができる (目に見えないデータに対する平均精度で 58.8% から 91.31% に) ことができることを示しています。
(2) 優れたパフォーマンスは、トレーニング可能なパラメーターのコストを削減し、ディープフェイク検出のための効果的かつ効率的なソリューションを実現します。
コードとモデルは https://github.com/nctu-eva-lab/AntifakePrompt で見つけることができます。

要約(オリジナル)

Deep generative models can create remarkably photorealistic fake images while raising concerns about misinformation and copyright infringement, known as deepfake threats. Deepfake detection technique is developed to distinguish between real and fake images, where the existing methods typically learn classifiers in the image domain or various feature domains. However, the generalizability of deepfake detection against emerging and more advanced generative models remains challenging. In this paper, being inspired by the zero-shot advantages of Vision-Language Models (VLMs), we propose a novel approach using VLMs (e.g. InstructBLIP) and prompt tuning techniques to improve the deepfake detection accuracy over unseen data. We formulate deepfake detection as a visual question answering problem, and tune soft prompts for InstructBLIP to answer the real/fake information of a query image. We conduct full-spectrum experiments on datasets from 3 held-in and 13 held-out generative models, covering modern text-to-image generation, image editing and image attacks. Results demonstrate that (1) the deepfake detection accuracy can be significantly and consistently improved (from 58.8% to 91.31%, in average accuracy over unseen data) using pretrained vision-language models with prompt tuning; (2) our superior performance is at less cost of trainable parameters, resulting in an effective and efficient solution for deepfake detection. Code and models can be found at https://github.com/nctu-eva-lab/AntifakePrompt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google