Can deepfakes be created by novice users?

要約

【タイトル】 初心者でもディープフェイクを作成することができるのか？

【要約】
– 機械学習とコンピュータビジョンの最新の進歩により、ディープフェイクが広まっています。
– 技術が時間の経過とともに民主化するにつれて、初心者のユーザーがディープフェイクを作成し、他者を非難し、公の対話を損なう可能性が高まっています。
– この論文では、高度なコンピュータスキルやコンピュータサイエンスの専門知識のレベルが異なる参加者が、少量のメディアファイルを使用して、対象の声明をする人物のディープフェイクを作成できるかどうかを理解するために、ユーザースタディを実施しています。
– 2つのスタディを実施しました。最初のスタディでは（n = 39）、参加者は任意のツールを使用して、制約時間内に対象のディープフェイクを作成しようとします。 2番目のスタディ（n = 29）では、参加者は予め指定されたディープラーニングベースのツールを使用して、同じディープフェイクを作成します。
– 最初のスタディでは、23.1％の参加者が、完全なオーディオとビデオを含むディープフェイクを成功させました。2番目のユーザースタディでは、58.6％の参加者が、対象のスピーチを対象のビデオに継ぎ合わせ、成功しました。
– さらに、生成されたディープフェイクの出力を偽、不審、または実際の値として分類するために、ディープフェイク検出ソフトウェアツールと人間検査官ベースの分析を使用します。
– ソフトウェア検知器はディープフェイクの80％を偽と分類し、人間の検査員は100％のビデオを偽と分類しました。
– 初心者のユーザーにとって、十分なツールと時間があれば、ディープフェイクを作成することは十分に簡単なタスクですが、結果として生成されるディープフェイクは十分に本物のように見えず、検出ソフトウェアや人間の検査員を完全に騙すことができないため、深刻な問題とはなり得ません。

要約(オリジナル)

Recent advancements in machine learning and computer vision have led to the proliferation of Deepfakes. As technology democratizes over time, there is an increasing fear that novice users can create Deepfakes, to discredit others and undermine public discourse. In this paper, we conduct user studies to understand whether participants with advanced computer skills and varying levels of computer science expertise can create Deepfakes of a person saying a target statement using limited media files. We conduct two studies; in the first study (n = 39) participants try creating a target Deepfake in a constrained time frame using any tool they desire. In the second study (n = 29) participants use pre-specified deep learning-based tools to create the same Deepfake. We find that for the first study, 23.1% of the participants successfully created complete Deepfakes with audio and video, whereas, for the second user study, 58.6% of the participants were successful in stitching target speech to the target video. We further use Deepfake detection software tools as well as human examiner-based analysis, to classify the successfully generated Deepfake outputs as fake, suspicious, or real. The software detector classified 80% of the Deepfakes as fake, whereas the human examiners classified 100% of the videos as fake. We conclude that creating Deepfakes is a simple enough task for a novice user given adequate tools and time; however, the resulting Deepfakes are not sufficiently real-looking and are unable to completely fool detection software as well as human examiners

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI