Attending Generalizability in Course of Deep Fake Detection by Exploring Multi-task Learning

要約

この研究では、ビデオをオリジナルとして分類するか、またはクロス操作シナリオで操作されたものとして分類し、ディープ フェイク シナリオの一般化に対応することを目的としたマルチタスク学習 (MTL) 技術を調査するさまざまな方法を検討します。
私たちの評価で使用されたデータセットは FaceForensics++ で、4 つの異なる技術で操作された 1000 本のオリジナル ビデオ (合計 5000 本のビデオ) を特徴としています。
私たちは、一般化の利点について文献でよく研究されている、マルチタスク学習と対照的な手法について広範な実験を行っています。
提案された検出モデルは非常に一般化されている、つまり、最先端技術と比較して、トレーニング中に遭遇しない操作方法を正確に検出すると結論付けることができます。

要約(オリジナル)

This work explores various ways of exploring multi-task learning (MTL) techniques aimed at classifying videos as original or manipulated in cross-manipulation scenario to attend generalizability in deep fake scenario. The dataset used in our evaluation is FaceForensics++, which features 1000 original videos manipulated by four different techniques, with a total of 5000 videos. We conduct extensive experiments on multi-task learning and contrastive techniques, which are well studied in literature for their generalization benefits. It can be concluded that the proposed detection model is quite generalized, i.e., accurately detects manipulation methods not encountered during training as compared to the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google