WMamba: Wavelet-based Mamba for Face Forgery Detection

要約

ディープフェイク生成技術の急速な進歩に伴い、堅牢かつ正確な顔偽造検出アルゴリズムに対する需要がますます重要になっています。
最近の研究では、ウェーブレット解析により、空間領域では知覚できない微妙な偽造アーティファクトを発見できることが実証されています。
ウェーブレットは、本質的に細く、きめが細かく、全体的なことが多い重要な顔の輪郭を効果的にキャプチャします。
ただし、既存のウェーブレット ベースのアプローチでは、これらの固有の特性を十分に活用できず、その結果、次善の特徴抽出が行われ、一般化可能性が制限されます。
この課題に対処するために、Mamba アーキテクチャに基づいて構築された新しいウェーブレット ベースの特徴抽出器である WMamba を導入します。
WMamba は、2 つの重要な革新を通じてウェーブレット情報の有用性を最大化します。
まず、Dynamic Contour Convolution (DCConv) を提案します。これは、特別に作成された変形可能なカーネルを使用して、細い顔の輪郭を適応的にモデル化します。
第 2 に、Mamba アーキテクチャを活用することで、私たちの方法は線形の計算複雑さで長距離の空間関係を捕捉します。
この効率により、小さな画像パッチから粒度の細かい、全体的な偽造アーティファクトを抽出することが可能になります。
広範な実験結果は、WMamba が最先端 (SOTA) パフォーマンスを達成していることを示しており、顔偽造検出におけるその有効性と優位性が強調されています。

要約(オリジナル)

With the rapid advancement of deepfake generation technologies, the demand for robust and accurate face forgery detection algorithms has become increasingly critical. Recent studies have demonstrated that wavelet analysis can uncover subtle forgery artifacts that remain imperceptible in the spatial domain. Wavelets effectively capture important facial contours, which are often slender, fine-grained, and global in nature. However, existing wavelet-based approaches fail to fully leverage these unique characteristics, resulting in sub-optimal feature extraction and limited generalizability. To address this challenge, we introduce WMamba, a novel wavelet-based feature extractor built upon the Mamba architecture. WMamba maximizes the utility of wavelet information through two key innovations. First, we propose Dynamic Contour Convolution (DCConv), which employs specially crafted deformable kernels to adaptively model slender facial contours. Second, by leveraging the Mamba architecture, our method captures long-range spatial relationships with linear computational complexity. This efficiency allows for the extraction of fine-grained, global forgery artifacts from small image patches. Extensive experimental results show that WMamba achieves state-of-the-art (SOTA) performance, highlighting its effectiveness and superiority in face forgery detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google