Model Synthesis for Zero-Shot Model Attribution

要約

現在、生成モデルはアート、デザイン、人間とコンピューターのインタラクションなどのさまざまな分野を形成していますが、著作権侵害やコンテンツ管理に関連する課題も伴います。
これに応じて、既存の研究では、生成された画像の固有のフィンガープリントを特定し、生成された画像をソース モデルに帰属させるために利用できるようにしようとしています。
しかし、既存の方法は、分類器トレーニングに含まれる静的セット内のモデルを識別することに制約されており、新たに出現した目に見えないモデルに動的に適応することができません。
このギャップを埋めるために、私たちは、ゼロショット アトリビューションが可能で、トレーニング中に露出することなく、目に見えないモデルを効果的にアトリビュートできる、一般化されたモデル フィンガープリント エクストラクタを開発することを目指しています。
私たちの方法の中心となるのは、現実世界の生成モデルの指紋パターンを模倣する多数の合成モデルを生成するモデル合成技術です。
合成技術の設計は、基本的な生成モデルのアーキテクチャの構成要素とパラメーターがフィンガープリント パターンにどのように影響するかに関する観察によって動機付けられており、合成モデルの忠実性と多様性を調べる 2 つの設計されたメトリクスを通じて検証されます。
私たちの実験では、合成モデルのみでトレーニングされたこの指紋抽出器が、現実世界の幅広い生成モデルで印象的なゼロショット汎化を達成し、目に見えないモデルでのモデル識別と検証の精度がそれぞれ 40% と 15% 以上向上することを示しています。
既存のアプローチと比較して。

要約(オリジナル)

Nowadays, generative models are shaping various fields such as art, design, and human-computer interaction, yet accompanied by challenges related to copyright infringement and content management. In response, existing research seeks to identify the unique fingerprints on the images they generate, which can be leveraged to attribute the generated images to their source models. Existing methods, however, are constrained to identifying models within a static set included in the classifier training, failing to adapt to newly emerged unseen models dynamically. To bridge this gap, we aim to develop a generalized model fingerprint extractor capable of zero-shot attribution, effectively attributes unseen models without exposure during training. Central to our method is a model synthesis technique, which generates numerous synthetic models mimicking the fingerprint patterns of real-world generative models. The design of the synthesis technique is motivated by observations on how the basic generative model’s architecture building blocks and parameters influence fingerprint patterns, and it is validated through two designed metrics that examine synthetic models’ fidelity and diversity. Our experiments demonstrate that this fingerprint extractor, trained solely on synthetic models, achieves impressive zero-shot generalization on a wide range of real-world generative models, improving model identification and verification accuracy on unseen models by over 40% and 15%, respectively, compared to existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google