Block shuffling learning for Deepfake Detection

要約

畳み込みニューラル ネットワーク (CNN) に基づくディープフェイク検出方法は、高い精度を実証しています。
\textcolor{black}{ただし、これらの方法は、未知の偽造方法や、サイズ変更やぼかしなどの一般的な変換に直面すると、パフォーマンスが低下することがよくあり、その結果、トレーニング ドメインとテスト ドメインの間で偏差が生じます。} オーバーフィッティングとして知られるこの現象は、重大な問題を引き起こします。
チャレンジ。
この問題に対処するために、新しいブロック シャッフル正則化方法を提案します。
まず、私たちのアプローチには、画像をブロックに分割し、ブロック内シャッフル手法とブロック間シャッフル手法の両方を適用することが含まれます。
このプロセスは、異なる次元間での重みの共有を間接的に実現します。
次に、シャッフル ノイズによって引き起こされる過学習問題を軽減するために、敵対的損失アルゴリズムを導入します。
最後に、ブロックの空間レイアウトを復元して、それらの間の意味的な関連性をキャプチャします。
広範な実験により、偽造顔検出における既存のアプローチを超える、提案した方法の有効性が検証されています。
特に、私たちの方法は優れた一般化機能を示し、データセット間の評価や一般的な画像変換に対する堅牢性を示しています。
特に、私たちの手法はさまざまな CNN モデルと簡単に統合できます。
ソース コードは \href{https://github.com/NoWindButRain/BlockShuffleLearning}{Github} で入手できます。

要約(オリジナル)

Deepfake detection methods based on convolutional neural networks (CNN) have demonstrated high accuracy. \textcolor{black}{However, these methods often suffer from decreased performance when faced with unknown forgery methods and common transformations such as resizing and blurring, resulting in deviations between training and testing domains.} This phenomenon, known as overfitting, poses a significant challenge. To address this issue, we propose a novel block shuffling regularization method. Firstly, our approach involves dividing the images into blocks and applying both intra-block and inter-block shuffling techniques. This process indirectly achieves weight-sharing across different dimensions. Secondly, we introduce an adversarial loss algorithm to mitigate the overfitting problem induced by the shuffling noise. Finally, we restore the spatial layout of the blocks to capture the semantic associations among them. Extensive experiments validate the effectiveness of our proposed method, which surpasses existing approaches in forgery face detection. Notably, our method exhibits excellent generalization capabilities, demonstrating robustness against cross-dataset evaluations and common image transformations. Especially our method can be easily integrated with various CNN models. Source code is available at \href{https://github.com/NoWindButRain/BlockShuffleLearning}{Github}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google