DeePhy: On Deepfake Phylogeny

要約

ディープフェイクとは、現在普及しており、大規模に拡散している、オンラインで入手可能な情報の信頼性を脅かす、調整され合成的に生成されたビデオを指します。
既存のデータセットには、生成手法が異なるさまざまな種類のディープフェイクが含まれていますが、「系統発生的」な方法でディープフェイクが進行することは考慮されていません。
既存のディープフェイクの顔が別の顔と交換される可能性があります。
この顔交換のプロセスは複数回実行される可能性があり、結果のディープフェイクが進化してディープフェイク検出アルゴリズムを混乱させる可能性があります。
さらに、多くのデータベースは、採用された生成モデルをターゲット ラベルとして提供していません。
モデル属性は、採用された生成モデルに関する情報を提供することにより、検出結果の説明可能性を高めるのに役立ちます。
研究コミュニティがこれらの問題に対処できるようにするために、この論文では、3 つの異なる生成技術を使用して生成された 5040 のディープフェイク ビデオで構成される新しいディープフェイク系統発生データセットである DeePhy を提案します。
1 回スワップされたディープフェイクの 840 本のビデオ、2 回スワップされたディープフェイクの 2520 本のビデオ、3 回スワップされたディープフェイクの 1680 本のビデオがあります。
サイズが 30 GB を超えるデータベースは、1,352 GB の累積メモリの 18 個の GPU を使用して 1,100 時間以上で準備されます。
また、6 つのディープフェイク検出アルゴリズムを使用した DeePhy データセットのベンチマークも示します。
この結果は、ディープフェイクのモデル アトリビューションの研究を進化させ、さまざまなディープフェイク生成手法にわたってプロセスを一般化する必要性を浮き彫りにしています。
データベースは http://iab-rubric.org/deephy-database で入手できます。

要約(オリジナル)

Deepfake refers to tailored and synthetically generated videos which are now prevalent and spreading on a large scale, threatening the trustworthiness of the information available online. While existing datasets contain different kinds of deepfakes which vary in their generation technique, they do not consider progression of deepfakes in a ‘phylogenetic’ manner. It is possible that an existing deepfake face is swapped with another face. This process of face swapping can be performed multiple times and the resultant deepfake can be evolved to confuse the deepfake detection algorithms. Further, many databases do not provide the employed generative model as target labels. Model attribution helps in enhancing the explainability of the detection results by providing information on the generative model employed. In order to enable the research community to address these questions, this paper proposes DeePhy, a novel Deepfake Phylogeny dataset which consists of 5040 deepfake videos generated using three different generation techniques. There are 840 videos of one-time swapped deepfakes, 2520 videos of two-times swapped deepfakes and 1680 videos of three-times swapped deepfakes. With over 30 GBs in size, the database is prepared in over 1100 hours using 18 GPUs of 1,352 GB cumulative memory. We also present the benchmark on DeePhy dataset using six deepfake detection algorithms. The results highlight the need to evolve the research of model attribution of deepfakes and generalize the process over a variety of deepfake generation techniques. The database is available at: http://iab-rubric.org/deephy-database

arxiv情報

提供元, 利用サービス

arxiv.jp, Google