FedForgery: Generalized Face Forgery Detection with Residual Federated Learning

要約

画像生成モデルの分野における深層学習の継続的な開発により、多数の鮮明な偽造顔が生成され、インターネット上で拡散されています。
これらの信頼性の高い人工物は、社会の安全に対する脅威に成長する可能性があります。
既存の顔偽造検出方法は、取得した公開共有データまたは一元化されたデータをトレーニングに直接利用しますが、現実世界のシナリオでは個人データを一元的に共有できない場合、個人のプライバシーとセキュリティの問題は無視されます。
さらに、さまざまなアーチファクトの種類によって引き起こされる分布の違いは、偽造検出タスクにさらに悪影響を及ぼす可能性があります。
前述の問題を解決するために、この論文では、顔偽造検出のための新しい一般化残差フェデレーテッド学習 (FedForgery) を提案します。
設計された変分オートエンコーダは、堅牢な識別残差特徴マップを学習して、偽造顔を (多様な、または未知のアーティファクト タイプを含む) 検出することを目的としています。
さらに、一般的なフェデレーテッド ラーニング戦略は、複数のローカル分散デバイスと協力してトレーニングされた分散検出モデルを構築するために導入されており、これにより表現の一般化がさらに促進される可能性があります。
公開されている顔偽造検出データセットに対して行われた実験により、提案された FedForgery の優れたパフォーマンスが証明されました。
設計された新しい一般化された顔偽造検出プロトコルとソースコードは、一般に公開される予定です。

要約(オリジナル)

With the continuous development of deep learning in the field of image generation models, a large number of vivid forged faces have been generated and spread on the Internet. These high-authenticity artifacts could grow into a threat to society security. Existing face forgery detection methods directly utilize the obtained public shared or centralized data for training but ignore the personal privacy and security issues when personal data couldn’t be centralizedly shared in real-world scenarios. Additionally, different distributions caused by diverse artifact types would further bring adverse influences on the forgery detection task. To solve the mentioned problems, the paper proposes a novel generalized residual Federated learning for face Forgery detection (FedForgery). The designed variational autoencoder aims to learn robust discriminative residual feature maps to detect forgery faces (with diverse or even unknown artifact types). Furthermore, the general federated learning strategy is introduced to construct distributed detection model trained collaboratively with multiple local decentralized devices, which could further boost the representation generalization. Experiments conducted on publicly available face forgery detection datasets prove the superior performance of the proposed FedForgery. The designed novel generalized face forgery detection protocols and source code would be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google