UnGANable: Defending Against GAN-based Face Manipulation

要約

ディープフェイクは、視覚的な誤認識という深刻な脅威を社会に与えている。代表的なディープフェイクの応用例として、画像中の被害者の顔の属性を変更し、例えば、年齢や髪の色を変更する顔操作がある。最新の顔操作技術は、Generative Adversarial Networks (GAN)に依存しています。本論文では、GANを用いた顔面操作に対する初の防御システムであるUnGANableを提案します。UnGANableは、顔操作に不可欠なGANの反転を防御することに特化しています。UnGANableの中核となる技術は、画像空間において、オリジナル画像（ターゲット画像）の周辺にある代替画像（クローク画像と呼ぶ）を探索することです。このクローク画像は、ネット上に公開されると、GANの反転処理を妨害する可能性があります。我々は、最適化ベースの反転とハイブリッド反転を含む2つの最新の反転技術を検討し、防御者の背景知識に依存する5つのシナリオの下で5つの異なる防御を設計する。2つのベンチマーク顔データセットで学習させた4つの一般的なGANモデルに対する広範な実験により、UnGANableは顕著な有効性と実用性能を達成し、複数のベースライン手法を凌駕することが示される。さらに、UnGANableを迂回するための4つの適応的な敵対者を調査し、そのうちのいくつかはわずかに有効であることを示す。

要約(オリジナル)

Deepfakes pose severe threats of visual misinformation to our society. One representative deepfake application is face manipulation that modifies a victim’s facial attributes in an image, e.g., changing her age or hair color. The state-of-the-art face manipulation techniques rely on Generative Adversarial Networks (GANs). In this paper, we propose the first defense system, namely UnGANable, against GAN-inversion-based face manipulation. In specific, UnGANable focuses on defending GAN inversion, an essential step for face manipulation. Its core technique is to search for alternative images (called cloaked images) around the original images (called target images) in image space. When posted online, these cloaked images can jeopardize the GAN inversion process. We consider two state-of-the-art inversion techniques including optimization-based inversion and hybrid inversion, and design five different defenses under five scenarios depending on the defender’s background knowledge. Extensive experiments on four popular GAN models trained on two benchmark face datasets show that UnGANable achieves remarkable effectiveness and utility performance, and outperforms multiple baseline methods. We further investigate four adaptive adversaries to bypass UnGANable and show that some of them are slightly effective.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL