Testing Human Ability To Detect Deepfake Images of Human Faces

要約

ディープフェイクは、現実を偽って表現する、計算によって作成されたエンティティです。
これらは画像、ビデオ、オーディオのモダリティを取得し、システムや社会の多くの領域に脅威をもたらす可能性があり、サイバーセキュリティとサイバーセーフティのさまざまな側面にとって興味深いトピックを構成します。
2020年、学界、警察、政府、民間部門、国家安全保障機関のAI専門家を集めたワークショップでは、ディープフェイクが最も深刻なAIの脅威としてランク付けされた。
これらの専門家は、偽のマテリアルは多くの管理されていないルートを介して伝播する可能性があるため、市民の行動を変えることが唯一の効果的な防御策である可能性があると指摘しました。
この研究は、ディープフェイクではない画像 (FFHQ) から人間の顔のディープフェイク画像 (StyleGAN2:FFHQ) を識別する人間の能力を評価し、検出精度の向上を目的とした単純な介入の有効性を評価することを目的としています。
オンライン調査を使用して、280 人の参加者が 4 つのグループ (対照グループ、および 3 つの援助介入) のいずれかにランダムに割り当てられました。
各参加者には、人間の顔の 50 枚のディープフェイク画像と 50 枚の本物の画像のプールからランダムに選択された 20 枚の画像のシーケンスが表示されました。
参加者は、各画像が AI によって生成されたかどうか、その確信度を報告し、それぞれの回答の背後にある理由を説明するよう求められました。
全体的な検出精度は偶然を上回る程度であり、これを大幅に改善する介入はありませんでした。
参加者の回答に対する自信は高く、正確さとは無関係でした。
画像ごとに結果を評価すると、参加者は一貫して特定の画像に正しくラベルを付けるのが難しいと感じていますが、画像に関係なく同様に高い信頼度を報告していることがわかります。
したがって、参加者の全体的な精度は 62% でしたが、画像全体のこの精度は 85% から 30% の間でほぼ均等に変動し、5 枚の画像に 1 枚の精度は 50% 未満でした。
私たちはこの調査結果を、この脅威に対処するために緊急に行動を起こす必要があることを示唆していると解釈しています。

要約(オリジナル)

Deepfakes are computationally-created entities that falsely represent reality. They can take image, video, and audio modalities, and pose a threat to many areas of systems and societies, comprising a topic of interest to various aspects of cybersecurity and cybersafety. In 2020 a workshop consulting AI experts from academia, policing, government, the private sector, and state security agencies ranked deepfakes as the most serious AI threat. These experts noted that since fake material can propagate through many uncontrolled routes, changes in citizen behaviour may be the only effective defence. This study aims to assess human ability to identify image deepfakes of human faces (StyleGAN2:FFHQ) from nondeepfake images (FFHQ), and to assess the effectiveness of simple interventions intended to improve detection accuracy. Using an online survey, 280 participants were randomly allocated to one of four groups: a control group, and 3 assistance interventions. Each participant was shown a sequence of 20 images randomly selected from a pool of 50 deepfake and 50 real images of human faces. Participants were asked if each image was AI-generated or not, to report their confidence, and to describe the reasoning behind each response. Overall detection accuracy was only just above chance and none of the interventions significantly improved this. Participants’ confidence in their answers was high and unrelated to accuracy. Assessing the results on a per-image basis reveals participants consistently found certain images harder to label correctly, but reported similarly high confidence regardless of the image. Thus, although participant accuracy was 62% overall, this accuracy across images ranged quite evenly between 85% and 30%, with an accuracy of below 50% for one in every five images. We interpret the findings as suggesting that there is a need for an urgent call to action to address this threat.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google