Robust CLIP-Based Detector for Exposing Diffusion Model-Generated Images

要約

拡散モデル (DM) は画像生成に革命をもたらし、さまざまな分野に応用できる高品質の画像を生成します。
しかし、非常にリアルな画像を作成する能力は、本物のコンテンツと合成コンテンツを区別する際に大きな課題を引き起こし、デジタルの信頼性やディープフェイクの作成における悪用の可能性についての懸念を引き起こしています。
この研究では、CLIP モデルによって抽出された画像とテキストの特徴を多層パーセプトロン (MLP) 分類器と統合する、堅牢な検出フレームワークを導入します。
検出器の堅牢性を向上させ、不均衡なデータセットを処理できる新しい損失を提案します。
さらに、モデルのトレーニング中に損失状況を平坦化し、検出器の一般化機能を向上させます。
従来の検出技術を上回る当社の手法の有効性は広範な実験を通じて実証されており、DM で生成された画像検出における新しい最先端のアプローチを確立する可能性を強調しています。
コードは https://github.com/Purdue-M2/Robust_DM_Generated_Image_Detection で入手できます。

要約(オリジナル)

Diffusion models (DMs) have revolutionized image generation, producing high-quality images with applications spanning various fields. However, their ability to create hyper-realistic images poses significant challenges in distinguishing between real and synthetic content, raising concerns about digital authenticity and potential misuse in creating deepfakes. This work introduces a robust detection framework that integrates image and text features extracted by CLIP model with a Multilayer Perceptron (MLP) classifier. We propose a novel loss that can improve the detector’s robustness and handle imbalanced datasets. Additionally, we flatten the loss landscape during the model training to improve the detector’s generalization capabilities. The effectiveness of our method, which outperforms traditional detection techniques, is demonstrated through extensive experiments, underscoring its potential to set a new state-of-the-art approach in DM-generated image detection. The code is available at https://github.com/Purdue-M2/Robust_DM_Generated_Image_Detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google