Does Human Collaboration Enhance the Accuracy of Identifying LLM-Generated Deepfake Texts?

要約

大規模言語モデル (GPT-4、LLaMA など) の進歩により、人間の書き込みに似た一貫した文章の生成が大規模に改善され、いわゆるディープフェイク テキストが作成されるようになりました。
しかし、この進歩はセキュリティとプライバシーの懸念を引き起こしており、ディープフェイクテキストと人間が書いたテキストを区別するための効果的なソリューションが必要です。
これまでの研究では、ディープフェイク テキストを検出する人間の能力について研究されていましたが、人間間の「協力」によってディープフェイク テキストの検出が向上するかどうかを検討した研究はありませんでした。
この研究では、ディープフェイク テキストに関するこの理解のギャップに対処するために、(1) AMT プラットフォームの非専門家と (2) Upwork プラットフォームの執筆専門家という 2 つのグループで実験を実施しました。
その結果、人間同士の協力により両グループのディープフェイクテキストの検出が向上する可能性があり、個人の検出精度と比較して非専門家では6.36%、専門家では12.76%それぞれ検出精度が向上することが示された。
私たちは、人間がテキストの一部をディープフェイク テキストとして検出するために使用した説明をさらに分析し、ディープフェイク テキストの最も強力な指標は一貫性と一貫性の欠如であることを発見しました。
私たちの研究は、人間によるディープフェイク テキストの共同検出を容易にする将来のツールやフレームワークの設計に役立つ洞察を提供します。
実験データセットと AMT 実装は、https://github.com/huashen218/llm-deepfake-human-study.git から入手できます。

要約(オリジナル)

Advances in Large Language Models (e.g., GPT-4, LLaMA) have improved the generation of coherent sentences resembling human writing on a large scale, resulting in the creation of so-called deepfake texts. However, this progress poses security and privacy concerns, necessitating effective solutions for distinguishing deepfake texts from human-written ones. Although prior works studied humans’ ability to detect deepfake texts, none has examined whether ‘collaboration’ among humans improves the detection of deepfake texts. In this study, to address this gap of understanding on deepfake texts, we conducted experiments with two groups: (1) nonexpert individuals from the AMT platform and (2) writing experts from the Upwork platform. The results demonstrate that collaboration among humans can potentially improve the detection of deepfake texts for both groups, increasing detection accuracies by 6.36% for non-experts and 12.76% for experts, respectively, compared to individuals’ detection accuracies. We further analyze the explanations that humans used for detecting a piece of text as deepfake text, and find that the strongest indicator of deepfake texts is their lack of coherence and consistency. Our study provides useful insights for future tools and framework designs to facilitate the collaborative human detection of deepfake texts. The experiment datasets and AMT implementations are available at: https://github.com/huashen218/llm-deepfake-human-study.git

arxiv情報

提供元, 利用サービス

arxiv.jp, Google