Faster Than Lies: Real-time Deepfake Detection using Binary Neural Networks

要約

ディープフェイク検出は、オンライン コンテンツの信頼を損なうディープ生成メディアの拡散を対比することを目的としています。
既存の方法は大規模で複雑なモデルに焦点を当てていますが、リアルタイム検出の必要性により、より高い効率が求められています。
これを念頭に置いて、以前の研究とは異なり、精度損失を最小限に抑えた高速推論のためにバイナリ ニューラル ネットワーク (BNN) を使用した画像に対する新しいディープフェイク検出アプローチを導入します。
さらに、私たちの方法には、周波数領域とテクスチャ領域での操作の痕跡を明らかにするための追加のチャネル機能として高速フーリエ変換 (FFT) とローカル バイナリ パターン (LBP) が組み込まれています。
COCOFake、DFFD、および CIFAKE データセットの評価では、ほとんどのシナリオでこのメソッドの最先端のパフォーマンスが実証され、推論中の FLOP が最大 $20\times$ 削減という大幅な効率向上が見られます。
最後に、ディープフェイク検出における BNN を調査して精度と効率のバランスを図ることで、この研究は効率的なディープフェイク検出に関する将来の研究への道を開きます。

要約(オリジナル)

Deepfake detection aims to contrast the spread of deep-generated media that undermines trust in online content. While existing methods focus on large and complex models, the need for real-time detection demands greater efficiency. With this in mind, unlike previous work, we introduce a novel deepfake detection approach on images using Binary Neural Networks (BNNs) for fast inference with minimal accuracy loss. Moreover, our method incorporates Fast Fourier Transform (FFT) and Local Binary Pattern (LBP) as additional channel features to uncover manipulation traces in frequency and texture domains. Evaluations on COCOFake, DFFD, and CIFAKE datasets demonstrate our method’s state-of-the-art performance in most scenarios with a significant efficiency gain of up to a $20\times$ reduction in FLOPs during inference. Finally, by exploring BNNs in deepfake detection to balance accuracy and efficiency, this work paves the way for future research on efficient deepfake detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google