Detecting Deepfakes Without Seeing Any

要約

ディープフェイク攻撃、つまり人々が含まれるメディアの悪意のある操作は、社会にとって深刻な懸念です。
従来のディープフェイク検出方法では、教師付き分類器をトレーニングして、実際のメディアと以前に遭遇したディープフェイクを区別します。
このような技術では、以前に確認されたものと同様のディープフェイクのみを検出できますが、ゼロデイ (これまで見たことのない) 攻撃タイプは検出できません。
現在のディープフェイク生成技術は驚くべきペースで変化しており、新しい攻撃タイプが頻繁に提案されており、これが大きな問題となっています。
私たちの主な観察は次のとおりです: i) 多くの効果的なディープフェイク攻撃では、偽メディアには偽の事実、つまり個人の身元、発言、動作、外見に関する主張が含まれている必要があります。
たとえば、オバマになりすますとき、攻撃者は、偽のメディアがオバマを示していると明示的または暗黙的に主張します。
ii) 現在の生成技術では、攻撃者が主張する誤った事実を完全に合成することはできません。
そこで、ゼロデイディープフェイク攻撃を検出するために、フェイクニュース検出を応用した「ファクトチェック」の概念を導入します。
ファクトチェックでは、主張された事実（例：身元がオバマである）が観察されたメディアと一致していること（例：顔は本当にオバマのものか？）を検証するため、本物のメディアと偽のメディアを区別できます。
したがって、ディープフェイクファクトチェックの実用的なレシピである FACTOR を紹介し、顔の交換やオーディオビジュアル合成などの重要な攻撃設定におけるその威力を実証します。
トレーニングは不要で、既製の機能のみに依存し、実装が非常に簡単で、ディープフェイクは見られませんが、最先端の精度を超える精度を実現します。

要約(オリジナル)

Deepfake attacks, malicious manipulation of media containing people, are a serious concern for society. Conventional deepfake detection methods train supervised classifiers to distinguish real media from previously encountered deepfakes. Such techniques can only detect deepfakes similar to those previously seen, but not zero-day (previously unseen) attack types. As current deepfake generation techniques are changing at a breathtaking pace, new attack types are proposed frequently, making this a major issue. Our main observations are that: i) in many effective deepfake attacks, the fake media must be accompanied by false facts i.e. claims about the identity, speech, motion, or appearance of the person. For instance, when impersonating Obama, the attacker explicitly or implicitly claims that the fake media show Obama; ii) current generative techniques cannot perfectly synthesize the false facts claimed by the attacker. We therefore introduce the concept of ‘fact checking’, adapted from fake news detection, for detecting zero-day deepfake attacks. Fact checking verifies that the claimed facts (e.g. identity is Obama), agree with the observed media (e.g. is the face really Obama’s?), and thus can differentiate between real and fake media. Consequently, we introduce FACTOR, a practical recipe for deepfake fact checking and demonstrate its power in critical attack settings: face swapping and audio-visual synthesis. Although it is training-free, relies exclusively on off-the-shelf features, is very easy to implement, and does not see any deepfakes, it achieves better than state-of-the-art accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google