E3: Ensemble of Expert Embedders for Adapting Synthetic Image Detectors to New Generators Using Limited Data

要約

生成 AI が急速に進歩するにつれて、新しい合成画像ジェネレーターが急速なペースで登場し続けています。
従来の検出方法は、これらのジェネレーターに適応する際に 2 つの主な課題に直面しています。1 つは、新しい技術による合成画像の法医学的トレースが、トレーニング中に学習されたものと大きく異なる可能性があること、そして、これらの新しいジェネレーターのデータへのアクセスが制限されていることが多いということです。
これらの問題に対処するために、合成画像検出器を更新するための新しい継続的学習フレームワークである Ensemble of Expert Embedders (E3) を導入します。
E3 を使用すると、最小限のトレーニング データを使用して、新しく登場したジェネレーターからの画像を正確に検出できます。
私たちのアプローチでは、まず転移学習を採用して、それぞれが特定のジェネレーターのフォレンジック トレースに特化した一連のエキスパート エンベッダーを開発することでこれを実現します。
次に、すべての埋め込みが Expert Knowledge Fusion Network によって共同分析され、正確で信頼性の高い検出決定が行われます。
私たちの実験では、E3 が合成画像検出専用に開発されたものを含む既存の継続学習方法よりも優れていることが実証されました。

要約(オリジナル)

As generative AI progresses rapidly, new synthetic image generators continue to emerge at a swift pace. Traditional detection methods face two main challenges in adapting to these generators: the forensic traces of synthetic images from new techniques can vastly differ from those learned during training, and access to data for these new generators is often limited. To address these issues, we introduce the Ensemble of Expert Embedders (E3), a novel continual learning framework for updating synthetic image detectors. E3 enables the accurate detection of images from newly emerged generators using minimal training data. Our approach does this by first employing transfer learning to develop a suite of expert embedders, each specializing in the forensic traces of a specific generator. Then, all embeddings are jointly analyzed by an Expert Knowledge Fusion Network to produce accurate and reliable detection decisions. Our experiments demonstrate that E3 outperforms existing continual learning methods, including those developed specifically for synthetic image detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google