Community Forensics: Using Thousands of Generators to Train Fake Image Detectors

要約

AI によって生成された画像を検出する際の重要な課題の 1 つは、これまで見たことのない生成モデルによって作成された画像を特定することです。
私たちは、トレーニング データの多様性が限られていることが、この問題に対処する上での大きな障害になっていると主張し、以前の研究よりも大幅に大きく、より多様性のある新しいデータセットを提案します。
このデータセット作成の一環として、数千のテキストから画像への潜在拡散モデルとサンプル画像を体系的にダウンロードします。
また、数十の人気のあるオープンソース モデルや商用モデルから画像も収集しています。
結果として得られるデータセットには、4,803 の異なるモデルからサンプリングされた 270 万枚の画像が含まれています。
これらの画像は、広範囲のシーン コンテンツ、ジェネレーター アーキテクチャ、画像処理設定をまとめてキャプチャします。
このデータセットを使用して、偽画像検出器の一般化能力を研究します。
私たちの実験では、モデルが類似したアーキテクチャを持っている場合でも、トレーニング セット内のモデルの数が増加するにつれて検出パフォーマンスが向上することが示唆されています。
また、モデルの多様性が増すにつれて検出パフォーマンスが向上し、トレーニングされた検出器は他のデータセットでトレーニングされた検出器よりも一般化が優れていることもわかりました。

要約(オリジナル)

One of the key challenges of detecting AI-generated images is spotting images that have been created by previously unseen generative models. We argue that the limited diversity of the training data is a major obstacle to addressing this problem, and we propose a new dataset that is significantly larger and more diverse than prior work. As part of creating this dataset, we systematically download thousands of text-to-image latent diffusion models and sample images from them. We also collect images from dozens of popular open source and commercial models. The resulting dataset contains 2.7M images that have been sampled from 4803 different models. These images collectively capture a wide range of scene content, generator architectures, and image processing settings. Using this dataset, we study the generalization abilities of fake image detectors. Our experiments suggest that detection performance improves as the number of models in the training set increases, even when these models have similar architectures. We also find that detection performance improves as the diversity of the models increases, and that our trained detectors generalize better than those trained on other datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google