A Siamese-based Verification System for Open-set Architecture Attribution of Synthetic Images

要約

合成画像のアトリビューション用に開発された手法は多岐にわたりますが、そのほとんどは、トレーニング セットに含まれるモデルまたはアーキテクチャによって生成された画像のみをアトリビュートすることができ、未知のアーキテクチャでは機能しないため、現実世界のシナリオへの適用性が妨げられています。
この論文では、合成画像を生成したアーキテクチャへの合成画像のオープンセットの帰属の問題に対処するために、シャム ネットワークに依存する検証フレームワークを提案します。
2 つの異なる設定を検討します。
最初の設定では、システムは 2 つの画像が同じ生成アーキテクチャによって生成されたかどうかを判断します。
第 2 の設定では、システムは、クレームされたアーキテクチャによって生成された 1 つまたは複数の参照画像を利用して、合成画像の生成に使用されるアーキテクチャに関するクレームを検証します。
提案されたシステムの主な長所は、入力画像 (クエリ画像と参照画像) がトレーニング中に考慮されるアーキテクチャに属するかどうかに関係なく、クローズドセットとオープンセットの両方のシナリオで動作できることです。
合成顔画像生成に焦点を当てた、GAN、拡散モデル、トランスフォーマーなどのさまざまな生成アーキテクチャを含む実験評価により、クローズドセット設定とオープンセット設定の両方でのこの手法の優れたパフォーマンスと、強力な一般化機能が確認されました。

要約(オリジナル)

Despite the wide variety of methods developed for synthetic image attribution, most of them can only attribute images generated by models or architectures included in the training set and do not work with unknown architectures, hindering their applicability in real-world scenarios. In this paper, we propose a verification framework that relies on a Siamese Network to address the problem of open-set attribution of synthetic images to the architecture that generated them. We consider two different settings. In the first setting, the system determines whether two images have been produced by the same generative architecture or not. In the second setting, the system verifies a claim about the architecture used to generate a synthetic image, utilizing one or multiple reference images generated by the claimed architecture. The main strength of the proposed system is its ability to operate in both closed and open-set scenarios so that the input images, either the query and reference images, can belong to the architectures considered during training or not. Experimental evaluations encompassing various generative architectures such as GANs, diffusion models, and transformers, focusing on synthetic face image generation, confirm the excellent performance of our method in both closed and open-set settings, as well as its strong generalization capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google