要約
テキストから画像へのモデルには多くの利点がありますが、重大な社会的リスクももたらします。
こうしたリスクを軽減するには、AI が生成した画像を検出することが重要です。
検出方法は、パッシブなアプローチと透かしベースのアプローチに大別できます。パッシブな検出器は AI で生成された画像に存在するアーティファクトに依存しますが、透かしベースの検出器はそのような画像に積極的に透かしを埋め込みます。
重要な問題は、どのタイプの検出器が有効性、堅牢性、効率の点でより優れたパフォーマンスを発揮するかということです。
しかし、現在の文献では、この問題についての包括的な理解が不足しています。
この研究では、パッシブ検出器と透かしベースの検出器の有効性、堅牢性、効率を比較するための最初の包括的なベンチマークである ImageDetectBench を開発することで、そのギャップを埋めることを目指しています。
私たちのベンチマークには 4 つのデータセットが含まれており、各データセットには AI で生成された画像と AI 以外で生成された画像が混在しています。
8 種類の一般的な摂動と 3 種類の敵対的な摂動に対して、5 つの受動的検出器と 4 つの透かしベースの検出器を評価します。
ベンチマークの結果、いくつかの興味深い発見が明らかになりました。
たとえば、透かしベースの検出器は、摂動の有無にかかわらず、常にパッシブ検出器よりも優れた性能を発揮します。
これらの洞察に基づいて、AI で生成された画像を検出するための推奨事項を提供します。たとえば、両方のタイプの検出器が適用できる場合は、透かしベースの検出器を選択することをお勧めします。
要約(オリジナル)
While text-to-image models offer numerous benefits, they also pose significant societal risks. Detecting AI-generated images is crucial for mitigating these risks. Detection methods can be broadly categorized into passive and watermark-based approaches: passive detectors rely on artifacts present in AI-generated images, whereas watermark-based detectors proactively embed watermarks into such images. A key question is which type of detector performs better in terms of effectiveness, robustness, and efficiency. However, the current literature lacks a comprehensive understanding of this issue. In this work, we aim to bridge that gap by developing ImageDetectBench, the first comprehensive benchmark to compare the effectiveness, robustness, and efficiency of passive and watermark-based detectors. Our benchmark includes four datasets, each containing a mix of AI-generated and non-AI-generated images. We evaluate five passive detectors and four watermark-based detectors against eight types of common perturbations and three types of adversarial perturbations. Our benchmark results reveal several interesting findings. For instance, watermark-based detectors consistently outperform passive detectors, both in the presence and absence of perturbations. Based on these insights, we provide recommendations for detecting AI-generated images, e.g., when both types of detectors are applicable, watermark-based detectors should be the preferred choice.
arxiv情報
| 著者 | Moyang Guo,Yuepeng Hu,Zhengyuan Jiang,Zeyu Li,Amir Sadovnik,Arka Daw,Neil Gong |
| 発行日 | 2024-11-20 18:59:58+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google