Testing Human Ability To Detect Deepfake Images of Human Faces

要約

ディープフェイクは、現実を偽って表現するコンピューターで作成されたエンティティです。
それらは画像、ビデオ、オーディオのモダリティを取り、システムや社会の多くの分野に脅威を与える可能性があり、サイバーセキュリティとサイバーセーフティのさまざまな側面に関心のあるトピックを構成しています.
2020 年に、学界、警察、政府、民間部門、および国家安全保障機関の AI 専門家に相談するワークショップで、ディープフェイクが最も深刻な AI の脅威としてランク付けされました。
これらの専門家は、偽物は制御されていない多くのルートを介して伝播する可能性があるため、市民の行動を変えることが唯一の有効な防御策である可能性があると述べています。
この研究は、非ディープフェイク画像 (FFHQ) から人間の顔の画像ディープフェイク (StyleGAN2:FFHQ) を識別する人間の能力を評価し、検出精度を向上させることを目的とした単純な介入の有効性を評価することを目的としています。
オンライン調査を使用して、280 人の参加者が 4 つのグループのいずれかに無作為に割り当てられました。コントロール グループと 3 つの支援介入です。
各参加者は、人間の顔の 50 枚のディープフェイク画像と 50 枚の実際の画像のプールからランダムに選択された 20 枚の画像のシーケンスを見せられました。
参加者は、各画像が AI によって生成されたかどうか、自信を報告すること、および各回答の背後にある理由を説明することを求められました。
全体的な検出精度は偶然をわずかに上回る程度であり、これを大幅に改善した介入はありませんでした。
回答に対する参加者の自信は高く、正確さとは無関係でした。
画像ごとに結果を評価すると、参加者は一貫して特定の画像を正しくラベル付けするのが難しいと感じていましたが、画像に関係なく同様に高い信頼性を報告していました.
したがって、参加者の精度は全体で 62% でしたが、画像全体のこの精度は 85% から 30% の間でかなり均等に変動し、画像 5 枚に 1 枚の精度は 50% 未満でした。
この調査結果は、この脅威に対処するための緊急の行動要請が必要であることを示唆していると解釈します。

要約(オリジナル)

Deepfakes are computationally-created entities that falsely represent reality. They can take image, video, and audio modalities, and pose a threat to many areas of systems and societies, comprising a topic of interest to various aspects of cybersecurity and cybersafety. In 2020 a workshop consulting AI experts from academia, policing, government, the private sector, and state security agencies ranked deepfakes as the most serious AI threat. These experts noted that since fake material can propagate through many uncontrolled routes, changes in citizen behaviour may be the only effective defence. This study aims to assess human ability to identify image deepfakes of human faces (StyleGAN2:FFHQ) from nondeepfake images (FFHQ), and to assess the effectiveness of simple interventions intended to improve detection accuracy. Using an online survey, 280 participants were randomly allocated to one of four groups: a control group, and 3 assistance interventions. Each participant was shown a sequence of 20 images randomly selected from a pool of 50 deepfake and 50 real images of human faces. Participants were asked if each image was AI-generated or not, to report their confidence, and to describe the reasoning behind each response. Overall detection accuracy was only just above chance and none of the interventions significantly improved this. Participants’ confidence in their answers was high and unrelated to accuracy. Assessing the results on a per-image basis reveals participants consistently found certain images harder to label correctly, but reported similarly high confidence regardless of the image. Thus, although participant accuracy was 62% overall, this accuracy across images ranged quite evenly between 85% and 30%, with an accuracy of below 50% for one in every five images. We interpret the findings as suggesting that there is a need for an urgent call to action to address this threat.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google