Improving Synthetically Generated Image Detection in Cross-Concept Settings

要約

タイトル：異なる概念環境での合成画像検出の改良

要約：
– 合成AIモデルの能力が進化するため、過度にリアルな合成画像が増加し、偽情報を打ち消すためには新しい合成画像の検出方法が必要とされている。
– 本研究では、様々な概念クラス間で汎化する課題に焦点をあてている。例えば、ヒトの顔を学習し、動物の合成画像をテストする場合、既存の手法ではランダムに生成された画像をモデルのトレーニングに使用することは無効であることが示された。
– 代わりに、本研究では、確率的品質評価モデルに基づいて、品質スコアに基づいて選択された現実的な合成画像を使用して、検出器の堅牢性を強化する手法を提案している。
– 本研究では、StyleGAN2やLatent Diffusionなどの２つの重要なアーキテクチャから生成された画像を用いて、それぞれ３つの概念を介して実験を行い、概念の汎化能力を測定している。
– 結果として、品質ベースのサンプリング手法は、ほとんどすべての概念に対して検出性能を向上させ、合成画像検出器の全体的な効果を高めることが示された。

要約(オリジナル)

New advancements for the detection of synthetic images are critical for fighting disinformation, as the capabilities of generative AI models continuously evolve and can lead to hyper-realistic synthetic imagery at unprecedented scale and speed. In this paper, we focus on the challenge of generalizing across different concept classes, e.g., when training a detector on human faces and testing on synthetic animal images – highlighting the ineffectiveness of existing approaches that randomly sample generated images to train their models. By contrast, we propose an approach based on the premise that the robustness of the detector can be enhanced by training it on realistic synthetic images that are selected based on their quality scores according to a probabilistic quality estimation model. We demonstrate the effectiveness of the proposed approach by conducting experiments with generated images from two seminal architectures, StyleGAN2 and Latent Diffusion, and using three different concepts for each, so as to measure the cross-concept generalization ability. Our results show that our quality-based sampling method leads to higher detection performance for nearly all concepts, improving the overall effectiveness of the synthetic image detectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI