Bi-LORA: A Vision-Language Approach for Synthetic Image Detection

要約

敵対的生成ネットワーク (GAN) や拡散モデル (DM) などの深層画像合成技術の進歩により、非常にリアルな画像を生成する時代が到来しました。
この技術の進歩は大きな関心を集めていますが、実際の画像と合成画像を区別することが潜在的に難しいという懸念も生じています。
この論文は、視覚と言語の間の強力な収束能力と、視覚言語モデル (VLM) のゼロショットの性質からインスピレーションを得ています。
私たちは、VLM と低ランク適応 (LORA) 調整技術を組み合わせて活用する Bi-LORA と呼ばれる革新的な方法を導入し、目に見えないモデル生成画像の合成画像検出の精度を高めます。
私たちの方法論における極めて重要な概念の変化は、最先端の VLM の特徴的な機能、特にブートストラッピング言語画像事前トレーニング (BLIP2) を活用して、画像キャプション タスクとしてバイナリ分類を再構成することを中心に展開しています。
厳密かつ包括的な実験は、特にトレーニング中に未知の拡散ベースの生成モデルから目に見えない拡散生成画像を検出し、ノイズに対する堅牢性を示し、GAN に対する一般化機能を実証する際に、提案されたアプローチの有効性を検証するために実行されます。
得られた結果は、目に見えない世代のモデルでの合成画像検出において 93.41% という驚異的な平均精度を示しています。
この研究に関連するコードとモデルは、https://github.com/Mamadou-Keita/VLM-DETECT で公開されています。

要約(オリジナル)

Advancements in deep image synthesis techniques, such as generative adversarial networks (GANs) and diffusion models (DMs), have ushered in an era of generating highly realistic images. While this technological progress has captured significant interest, it has also raised concerns about the potential difficulty in distinguishing real images from their synthetic counterparts. This paper takes inspiration from the potent convergence capabilities between vision and language, coupled with the zero-shot nature of vision-language models (VLMs). We introduce an innovative method called Bi-LORA that leverages VLMs, combined with low-rank adaptation (LORA) tuning techniques, to enhance the precision of synthetic image detection for unseen model-generated images. The pivotal conceptual shift in our methodology revolves around reframing binary classification as an image captioning task, leveraging the distinctive capabilities of cutting-edge VLM, notably bootstrapping language image pre-training (BLIP2). Rigorous and comprehensive experiments are conducted to validate the effectiveness of our proposed approach, particularly in detecting unseen diffusion-generated images from unknown diffusion-based generative models during training, showcasing robustness to noise, and demonstrating generalization capabilities to GANs. The obtained results showcase an impressive average accuracy of 93.41% in synthetic image detection on unseen generation models. The code and models associated with this research can be publicly accessed at https://github.com/Mamadou-Keita/VLM-DETECT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google