DomainForensics: Exposing Face Forgery across Domains via Bi-directional Adaptation

要約

最近のディープフェイク検出方法は、公開データセットでは優れたパフォーマンスを示していますが、新たな偽造物では大幅に性能が低下します。
絶えず進化する生成技術により毎日新しい偽造品が出現するため、この問題を解決することは重要です。
この問題に対しては、共通に存在する痕跡をデータレベルで経験的に探すことで多くの努力がなされてきました。
この論文では、この問題を再考し、教師なしドメイン適応の観点から新しい解決策を提案します。
DomainForensics と呼ばれる私たちのソリューションは、既知の偽造者から新しい偽造者に偽造知識を移転することを目的としています。
最近の取り組みとは異なり、私たちのソリューションはデータビューではなく、ドメインの不一致の調整を通じて新しい偽造の知識を捕捉するディープフェイク検出器の学習戦略に焦点を当てています。
特に、セマンティッククラスカテゴリでの知識伝達を考慮するため適用が制限される一般的なドメイン適応方法とは異なり、私たちのアプローチは微妙な偽造の痕跡を捕捉します。
ドメイン全体で偽造知識を捕捉することに特化した新しい双方向適応戦略について説明します。
具体的には、私たちの戦略は順方向適応と逆方向適応の両方を考慮し、順方向適応でソースドメインからターゲットドメインに偽造知識を転送し、その後、逆方向適応でターゲットドメインからソースドメインへの適応を逆にします。
順方向適応では、ソース ドメインでディープフェイク検出器の教師ありトレーニングを実行し、敵対的特徴適応を共同で使用して、操作された顔を検出する能力を既知の偽造から新しい偽造に移行します。
逆方向適応では、敵対的適応と新しい偽造品の自己蒸留を組み合わせることで、知識の伝達をさらに改善します。
これにより、検出器はラベルのないデータから新しい偽造特徴を明らかにし、既知の知識を忘れることを避けることができます。

要約(オリジナル)

Recent DeepFake detection methods have shown excellent performance on public datasets but are significantly degraded on new forgeries. Solving this problem is important, as new forgeries emerge daily with the continuously evolving generative techniques. Many efforts have been made for this issue by seeking the commonly existing traces empirically on data level. In this paper, we rethink this problem and propose a new solution from the unsupervised domain adaptation perspective. Our solution, called DomainForensics, aims to transfer the forgery knowledge from known forgeries to new forgeries. Unlike recent efforts, our solution does not focus on data view but on learning strategies of DeepFake detectors to capture the knowledge of new forgeries through the alignment of domain discrepancies. In particular, unlike the general domain adaptation methods which consider the knowledge transfer in the semantic class category, thus having limited application, our approach captures the subtle forgery traces. We describe a new bi-directional adaptation strategy dedicated to capturing the forgery knowledge across domains. Specifically, our strategy considers both forward and backward adaptation, to transfer the forgery knowledge from the source domain to the target domain in forward adaptation and then reverse the adaptation from the target domain to the source domain in backward adaptation. In forward adaptation, we perform supervised training for the DeepFake detector in the source domain and jointly employ adversarial feature adaptation to transfer the ability to detect manipulated faces from known forgeries to new forgeries. In backward adaptation, we further improve the knowledge transfer by coupling adversarial adaptation with self-distillation on new forgeries. This enables the detector to expose new forgery features from unlabeled data and avoid forgetting the known knowledge of known…

arxiv情報

提供元, 利用サービス

arxiv.jp, Google