ODDN: Addressing Unpaired Data Challenges in Open-World Deepfake Detection on Online Social Networks

要約

ディープフェイク検出は大幅に進歩しているにもかかわらず、特にオンライン ソーシャル ネットワーク (OSN) での圧縮の違いによる画質の変化を処理することは依然として困難です。
現在の方法は、生の画像か圧縮された画像かに関係なく、ペアになった画像間の相関関係を利用することで成功しています。
ただし、オープンワールドのシナリオでは、ペアになったデータが不足しており、圧縮された画像はすぐに入手できますが、対応する生のバージョンを入手するのは困難です。
ペアになっていないデータの数がペアになっているデータを大幅に上回っているこの不均衡は、対応する生の画像がないと既存の方法が困難であるため、検出パフォーマンスの低下につながることがよくあります。
この問題を克服するために、私たちはオープンワールド ディープフェイク検出ネットワーク (ODDN) と呼ばれる新しいアプローチを提案します。これは、オープンワールド データ アグリゲーション (ODA) と圧縮廃棄勾配補正 (CGC) の 2 つのコア モジュールで構成されます。
ODA は、ペアデータとペアデータのそれぞれに対する細粒分析と粗粒分析の両方を通じて、圧縮サンプルと生サンプル間の相関関係を効果的に集計します。
CGC には圧縮破棄勾配補正が組み込まれており、OSN のさまざまな圧縮方法のパフォーマンスをさらに向上させます。
この手法はトレーニング勾配を最適化し、モデルが圧縮変動の影響を受けないようにすることが保証されます。
17 の人気のあるディープフェイク データセットに対して行われた広範な実験により、SOTA ベースラインに対する ODDN の優位性が実証されました。

要約(オリジナル)

Despite significant advances in deepfake detection, handling varying image quality, especially due to different compressions on online social networks (OSNs), remains challenging. Current methods succeed by leveraging correlations between paired images, whether raw or compressed. However, in open-world scenarios, paired data is scarce, with compressed images readily available but corresponding raw versions difficult to obtain. This imbalance, where unpaired data vastly outnumbers paired data, often leads to reduced detection performance, as existing methods struggle without corresponding raw images. To overcome this issue, we propose a novel approach named the open-world deepfake detection network (ODDN), which comprises two core modules: open-world data aggregation (ODA) and compression-discard gradient correction (CGC). ODA effectively aggregates correlations between compressed and raw samples through both fine-grained and coarse-grained analyses for paired and unpaired data, respectively. CGC incorporates a compression-discard gradient correction to further enhance performance across diverse compression methods in OSN. This technique optimizes the training gradient to ensure the model remains insensitive to compression variations. Extensive experiments conducted on 17 popular deepfake datasets demonstrate the superiority of the ODDN over SOTA baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google