Harnessing the Power of Large Vision Language Models for Synthetic Image Detection

要約

近年、テキストから画像を生成するモデルの出現が大きな関心を集めており、テキストの記述からリアルな画像を作成できる可能性がある。しかし、このような進歩は、フェイクニュースやプロパガンダのような誤解を招くコンテンツの作成など、これらの画像の潜在的な悪用に対する懸念も引き起こしている。本研究では、合成画像の識別に高度な視覚言語モデル（VLM）を用いることの有効性を調査する。具体的には、合成画像検出のための最先端の画像キャプションモデルのチューニングに焦点を当てる。大規模なVLMのロバストな理解能力を活用することで、拡散ベースのモデルによって生成された合成画像から本物の画像を識別することを目的とする。本研究は、BLIP-2やViTGPT2などの視覚言語モデルの能力を利用することにより、合成画像検出の進歩に貢献する。画像キャプションモデルを調整することで、実世界のアプリケーションにおける合成画像の潜在的な誤用に関連する課題に対処する。本論文に記載された結果は、合成画像検出分野におけるVLMの有望な役割を強調するものであり、従来の画像ベースの検出技術を凌駕するものである。コードとモデルはhttps://github.com/Mamadou-Keita/VLM-DETECT。

要約(オリジナル)

In recent years, the emergence of models capable of generating images from text has attracted considerable interest, offering the possibility of creating realistic images from text descriptions. Yet these advances have also raised concerns about the potential misuse of these images, including the creation of misleading content such as fake news and propaganda. This study investigates the effectiveness of using advanced vision-language models (VLMs) for synthetic image identification. Specifically, the focus is on tuning state-of-the-art image captioning models for synthetic image detection. By harnessing the robust understanding capabilities of large VLMs, the aim is to distinguish authentic images from synthetic images produced by diffusion-based models. This study contributes to the advancement of synthetic image detection by exploiting the capabilities of visual language models such as BLIP-2 and ViTGPT2. By tailoring image captioning models, we address the challenges associated with the potential misuse of synthetic images in real-world applications. Results described in this paper highlight the promising role of VLMs in the field of synthetic image detection, outperforming conventional image-based detection techniques. Code and models can be found at https://github.com/Mamadou-Keita/VLM-DETECT.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL