Open Set Synthetic Image Source Attribution

要約

AI によって生成された画像はますますリアルになり、大きな注目を集めています。
合成画像はそのリアルさから興味深いものですが、誤情報の重大な脅威にもなります。
この新たな脅威に対処するために、研究者たちは合成画像を検出し、そのソース生成元を特定するための複数のアルゴリズムを開発しました。
しかし、既存のソース帰属技術のほとんどは、閉集合シナリオで動作するように設計されており、つまり、既知の画像ジェネレーターを区別するためにのみ使用できます。
対照的に、新しい画像生成技術が急速に登場しています。
これに対処するには、合成画像がいつ新しい未知のジェネレーターから生成されたかを識別できる、オープンセットのソース帰属技術が非常に必要とされています。
この問題に対処するために、新しいメトリクス学習ベースのアプローチを提案します。
私たちの技術は、たとえトレーニング中に見られなかった場合でも、ジェネレーターを区別できる転送可能な埋め込みを学習することによって機能します。
画像はまず候補ジェネレーターに割り当てられ、次に既知のジェネレーターの学習された基準点からの埋め込み空間内の距離に基づいて受け入れられるか拒否されます。
重要なのは、画像カメラ識別で事前トレーニングしてソース属性埋め込みネットワークを初期化すると、埋め込みの転送可能性が向上する可能性があることを確認したことです。
一連の実験を通じて、オープンセット シナリオで合成画像のソースを特定するアプローチの能力を実証します。

要約(オリジナル)

AI-generated images have become increasingly realistic and have garnered significant public attention. While synthetic images are intriguing due to their realism, they also pose an important misinformation threat. To address this new threat, researchers have developed multiple algorithms to detect synthetic images and identify their source generators. However, most existing source attribution techniques are designed to operate in a closed-set scenario, i.e. they can only be used to discriminate between known image generators. By contrast, new image-generation techniques are rapidly emerging. To contend with this, there is a great need for open-set source attribution techniques that can identify when synthetic images have originated from new, unseen generators. To address this problem, we propose a new metric learning-based approach. Our technique works by learning transferrable embeddings capable of discriminating between generators, even when they are not seen during training. An image is first assigned to a candidate generator, then is accepted or rejected based on its distance in the embedding space from known generators’ learned reference points. Importantly, we identify that initializing our source attribution embedding network by pretraining it on image camera identification can improve our embeddings’ transferability. Through a series of experiments, we demonstrate our approach’s ability to attribute the source of synthetic images in open-set scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google