Characterizing Photorealism and Artifacts in Diffusion Model-Generated Images

要約

拡散モデルで生成された画像は、本物の写真と区別できないように見える場合がありますが、これらの画像には多くの場合、AIが生成された起源を明らかにするアーティファクトと虚偽性が含まれています。
フォトリアリスティックなAIに生成された画像によってもたらされるメディアへの国民の信頼への課題を考えると、450の拡散モデル生成画像と149の実際の画像でヒト検出精度を測定する大規模な実験を実施しました。
50,444人の参加者から749,828の観測と34,675のコメントを収集することに基づいて、画像のシーンの複雑さ、画像内のアーティファクトタイプ、画像の表示時間、およびAIに生成された画像の人間のキュレーションはすべて、人々がどれほど正確に際立っているかで重要な役割を果たします。
AIに生成された画像からのリアル。
さらに、拡散モデルによって生成された画像にしばしば表示されるアーティファクトを特徴付ける分類法を提案します。
私たちの経験的観察と分類法は、2024年にフォトリアリスティックな画像を生成するための拡散モデルの能力と制限に関する微妙な洞察を提供します。

要約(オリジナル)

Diffusion model-generated images can appear indistinguishable from authentic photographs, but these images often contain artifacts and implausibilities that reveal their AI-generated provenance. Given the challenge to public trust in media posed by photorealistic AI-generated images, we conducted a large-scale experiment measuring human detection accuracy on 450 diffusion-model generated images and 149 real images. Based on collecting 749,828 observations and 34,675 comments from 50,444 participants, we find that scene complexity of an image, artifact types within an image, display time of an image, and human curation of AI-generated images all play significant roles in how accurately people distinguish real from AI-generated images. Additionally, we propose a taxonomy characterizing artifacts often appearing in images generated by diffusion models. Our empirical observations and taxonomy offer nuanced insights into the capabilities and limitations of diffusion models to generate photorealistic images in 2024.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google