Deepfake Caricatures: Amplifying attention to artifacts increases deepfake detection by humans and machines

要約

ディープフェイクは、誤った情報の拡散を助長することにより、デジタル社会に深刻な脅威をもたらします。
それらを検出し、人間のユーザーにそれらの存在を効果的に警告する技術を開発することが不可欠です。
ここでは、これらの両方のニーズを満たす新しいディープフェイク検出フレームワークを紹介します。
私たちのアプローチは、人間の注釈で半教師ありのビデオアーティファクトの注意マップを生成することを学びます。
これらのマップは2つの貢献をします。
まず、いくつかのディープフェイク検出データセットで実証されている、ディープフェイク分類器の精度と一般化可能性を向上させます。
次に、「ディープフェイク似顔絵」の形式で、人間のユーザーに直感的な信号を生成できます。これは、人間の認識を向上させるために、参加したアーティファクトが悪化する元のディープフェイクビデオの変換です。
私たちのアプローチは、人間と人工の監督を組み合わせて、偽の視覚コンテンツに対する対策の開発を促進することを目的としており、疑わしい視覚メディアを提示されたときに人間が自分で判断できるようにします。

要約(オリジナル)

Deepfakes pose a serious threat to our digital society by fueling the spread of misinformation. It is essential to develop techniques that both detect them, and effectively alert the human user to their presence. Here, we introduce a novel deepfake detection framework that meets both of these needs. Our approach learns to generate attention maps of video artifacts, semi-supervised on human annotations. These maps make two contributions. First, they improve the accuracy and generalizability of a deepfake classifier, demonstrated across several deepfake detection datasets. Second, they allow us to generate an intuitive signal for the human user, in the form of ‘Deepfake Caricatures’: transformations of the original deepfake video where attended artifacts are exacerbated to improve human recognition. Our approach, based on a mixture of human and artificial supervision, aims to further the development of countermeasures against fake visual content, and grants humans the ability to make their own judgment when presented with dubious visual media.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google