Autonomous and Self-Adapting System for Synthetic Media Detection and Attribution

要約

ジェネレーティブAIの急速な進歩により、非常にリアルな合成画像の作成が可能になったが、これは多くの領域で有益である一方で、偽情報、詐欺、その他の悪意のあるアプリケーションという点で深刻なリスクももたらす。現在の合成画像識別システムは一般的に静的であり、既知のジェネレータから学習された特徴表現に依存している。新しいジェネレーティブモデルが出現するにつれて、これらのシステムは深刻な性能低下に悩まされる。この論文では、自律的な自己適応型合成メディア識別システムの概念を紹介する。このシステムは、合成画像を検出して既知のソースに帰属させるだけでなく、人間の介入なしに自律的に新しいジェネレータを識別して組み込む。我々のアプローチは、既知のソースと未知のソースを区別する、進化可能な埋め込み空間を持つオープンセット識別戦略を活用する。教師なしクラスタリング法を採用して未知のサンプルを信頼性の高いクラスタに集約し、その判定境界を継続的に改良することで、本システムは、生成ランドスケープが進化しても、ロバストな検出と帰属の性能を維持する。広範な実験により、我々の手法が既存のアプローチを大幅に上回ることが実証され、急速に進歩する生成モデルの時代において、普遍的で適応可能な法医学システムに向けた重要な一歩となる。

要約(オリジナル)

Rapid advances in generative AI have enabled the creation of highly realistic synthetic images, which, while beneficial in many domains, also pose serious risks in terms of disinformation, fraud, and other malicious applications. Current synthetic image identification systems are typically static, relying on feature representations learned from known generators; as new generative models emerge, these systems suffer from severe performance degradation. In this paper, we introduce the concept of an autonomous self-adaptive synthetic media identification system — one that not only detects synthetic images and attributes them to known sources but also autonomously identifies and incorporates novel generators without human intervention. Our approach leverages an open-set identification strategy with an evolvable embedding space that distinguishes between known and unknown sources. By employing an unsupervised clustering method to aggregate unknown samples into high-confidence clusters and continuously refining its decision boundaries, our system maintains robust detection and attribution performance even as the generative landscape evolves. Extensive experiments demonstrate that our method significantly outperforms existing approaches, marking a crucial step toward universal, adaptable forensic systems in the era of rapidly advancing generative models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL