Deepfake Caricatures: Amplifying attention to artifacts increases deepfake detection by humans and machines

要約

【タイトル】ディープフェイク・カリカチュア：アーティファクトに注視することで、人間と機械のディープフェイク検出を増幅する

【要約】

– ディープフェイクは、誤情報を拡散させることでデジタルウェルビーイングに深刻な脅威を与えています。
– ディープフェイクが肉眼では判別しづらくなる中、人間はディープフェイクの検出モデルに依存するようになっています。
– 現在のモデルは、動画の信頼性について予測を行いますが、人間ユーザーに通知する方法がありません。
– 本研究は、ディープフェイク動画のアーティファクトを増幅し、人々が検出しやすいようにするフレームワークを提案しています。
– 新しい半教師ありのアーティファクト注意モジュールを提案しました。人間の反応からトレーニングされたこのモジュールは、ビデオアーティファクトを強調する注視マップを作成します。これらのマップは2つの貢献をします。第一に、ディープフェイク検出分類器の性能を向上させます。第二に、私たちは新しい「Deepfake Caricatures」を生成することができます。これは、アーティファクトを悪化させ、人間による検出を改善するディープフェイクの変換です。
– ユーザースタディにより、Caricaturesはビデオ提示時間やユーザーの関与レベルに関係なく、人間の検出を大幅に向上させることを実証した。
– 全体的に、本研究は、人間中心のアプローチがディープフェイク対策方法の設計に成功することを示しています。

要約(オリジナル)

Deepfakes pose a serious threat to digital well-being by fueling misinformation. As deepfakes get harder to recognize with the naked eye, human users become increasingly reliant on deepfake detection models to decide if a video is real or fake. Currently, models yield a prediction for a video’s authenticity, but do not integrate a method for alerting a human user. We introduce a framework for amplifying artifacts in deepfake videos to make them more detectable by people. We propose a novel, semi-supervised Artifact Attention module, which is trained on human responses to create attention maps that highlight video artifacts. These maps make two contributions. First, they improve the performance of our deepfake detection classifier. Second, they allow us to generate novel ‘Deepfake Caricatures’: transformations of the deepfake that exacerbate artifacts to improve human detection. In a user study, we demonstrate that Caricatures greatly increase human detection, across video presentation times and user engagement levels. Overall, we demonstrate the success of a human-centered approach to designing deepfake mitigation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI