Robust Retraining-free GAN Fingerprinting via Personalized Normalization

要約

近年、生成モデルの商用アプリケーションが大幅に増加しており、モデル開発者によってライセンスされてユーザーに配布され、ユーザーはそれを使用してサービスを提供します。
このシナリオでは、ライセンス契約への違反や何らかの悪意のある使用があった場合に、責任のあるユーザーを追跡して特定する必要があります。
敵対的生成ネットワーク (GAN) が生成する画像に目に見えない透かしを含めることを可能にする方法はありますが、フィンガープリントと呼ばれる異なる透かしを含むモデルをユーザーごとに生成するのは、
目的のフィンガープリントが含まれるようにモデルを再トレーニングします。
この論文では、モデル開発者が機能は同じだがフィンガープリントが異なるモデルのコピーを簡単に生成できる、再トレーニング不要の GAN フィンガープリント手法を提案します。
ジェネレーターは、追加の Personalized Normalization (PN) レイヤーを挿入することによって変更されます。そのパラメーター (スケーリングとバイアス) は、入力としてフィンガープリントを受け取る 2 つの専用の浅いネットワーク (ParamGen Nets) によって生成されます。
透かしデコーダーは、生成された画像から指紋を抽出するために同時にトレーニングされます。
提案された方法では、ParamGen ネットの入力を変更し、フィードフォワード パスを実行するだけで、微調整や再トレーニングを行わずに、GAN 内にさまざまなフィンガープリントを埋め込むことができます。
モデルレベルと画像レベルの両方の攻撃に対する堅牢性の観点から、提案された方法のパフォーマンスも最先端のものよりも優れています。

要約(オリジナル)

In recent years, there has been significant growth in the commercial applications of generative models, licensed and distributed by model developers to users, who in turn use them to offer services. In this scenario, there is a need to track and identify the responsible user in the presence of a violation of the license agreement or any kind of malicious usage. Although there are methods enabling Generative Adversarial Networks (GANs) to include invisible watermarks in the images they produce, generating a model with a different watermark, referred to as a fingerprint, for each user is time- and resource-consuming due to the need to retrain the model to include the desired fingerprint. In this paper, we propose a retraining-free GAN fingerprinting method that allows model developers to easily generate model copies with the same functionality but different fingerprints. The generator is modified by inserting additional Personalized Normalization (PN) layers whose parameters (scaling and bias) are generated by two dedicated shallow networks (ParamGen Nets) taking the fingerprint as input. A watermark decoder is trained simultaneously to extract the fingerprint from the generated images. The proposed method can embed different fingerprints inside the GAN by just changing the input of the ParamGen Nets and performing a feedforward pass, without finetuning or retraining. The performance of the proposed method in terms of robustness against both model-level and image-level attacks is also superior to the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google