Generalized Deepfake Attribution

要約

偽のメディア作成の状況は、敵対的生成ネットワーク (GAN) の導入によって変わりました。
生成技術の急速な進歩に伴いフェイク メディアの作成が増加しており、フェイク メディアの検出において新たな課題が生じています。
GAN の基本的な特性は、シードとして知られるパラメーターの初期化に対する感度です。
トレーニング中に利用される個別のシードはそれぞれ固有のモデル インスタンスの作成につながり、その結果、同じアーキテクチャを採用しているにもかかわらず、異なる画像出力が得られます。
これは、たとえ 1 つの GAN アーキテクチャであっても、使用されるシードに応じて無数のバリエーションの GAN モデルを生成できることを意味します。
ディープフェイクの帰属を特定するための既存の方法は、トレーニング中に特定の GAN モデルを見た場合にのみうまく機能します。
GAN アーキテクチャが別のシードで再トレーニングされた場合、これらのメソッドは偽物を特定するのに苦労します。
このシードの依存関係の問題により、既存の手法でディープフェイクの属性を特定することが困難になりました。
私たちは、偽の画像が異なるシード (クロスシード) で再トレーニングされたバージョンの GAN アーキテクチャから生成された場合でも、またはファイン
既存の GAN モデルの調整バージョン。
GAN モデルのクロスシードおよび微調整されたデータに関する広範な実験により、私たちの方法が既存の方法と比較して非常に効果的であることが示されています。
結果を検証するためのソース コードを提供しました。

要約(オリジナル)

The landscape of fake media creation changed with the introduction of Generative Adversarial Networks (GAN s). Fake media creation has been on the rise with the rapid advances in generation technology, leading to new challenges in Detecting fake media. A fundamental characteristic of GAN s is their sensitivity to parameter initialization, known as seeds. Each distinct seed utilized during training leads to the creation of unique model instances, resulting in divergent image outputs despite employing the same architecture. This means that even if we have one GAN architecture, it can produce countless variations of GAN models depending on the seed used. Existing methods for attributing deepfakes work well only if they have seen the specific GAN model during training. If the GAN architectures are retrained with a different seed, these methods struggle to attribute the fakes. This seed dependency issue made it difficult to attribute deepfakes with existing methods. We proposed a generalized deepfake attribution network (GDA-N et) to attribute fake images to their respective GAN architectures, even if they are generated from a retrained version of the GAN architecture with a different seed (cross-seed) or from the fine-tuned version of the existing GAN model. Extensive experiments on cross-seed and fine-tuned data of GAN models show that our method is highly effective compared to existing methods. We have provided the source code to validate our results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google