Humans can learn to detect AI-generated texts, or at least learn when they can’t

要約

この研究では、個人が即時のフィードバックが提供された場合、人間が作成したテキストとAIが生成したテキストを正確に区別できるかどうか、およびこのフィードバックを使用して自己認識能力を再調整できるかどうかを調査します。
また、テキストスタイルと知覚される読みやすさに焦点を当て、これらの決定を行う際に個人が依存している特定の基準を探ります。
GPT-4oを使用して、人間が作成したテキストのマルチレジスターコーパスであるKoditexに匹敵するさまざまなジャンルとテキストタイプにわたって数百のテキストを生成しました。
次に、255人のチェコ語のネイティブスピーカーにランダム化されたテキストペアを提示しました。これらのテキストは、どのテキストが人間が記述され、AIが生成されているかを特定しました。
参加者は2つの条件にランダムに割り当てられました。1つは各試行後にすぐにフィードバックを受け、もう1つは実験が完了するまでフィードバックを受けません。
識別、信頼レベル、応答時間、およびテキストの読みやすさについての判断と、人口統計データと、実験前のAIテクノロジーとの参加者の関与の精度を記録しました。
即時フィードバックを受けた参加者は、精度と信頼性のキャリブレーションの大幅な改善を示しました。
参加者は、最初に、文体的な剛性や読みやすさに関する期待を含む、AIに生成されたテキスト機能に関する誤った仮定を保持していました。
特に、フィードバックがなければ、参加者は最も自信を持っていると正確に最もエラーを犯しました。これは、フィードバックグループの間で大部分が解決されました。
人間とAIに生成されたテキストを区別する能力は、明示的なフィードバックを使用してターゲットトレーニングを通じて効果的に学習できます。これは、AIスタイルの特徴と読みやすさについての誤解を修正するのに役立ち、より正確な自己評価を促進しながら、調査されなかった潜在的な他の変数です。
この発見は、教育的文脈では特に重要かもしれません。

要約(オリジナル)

This study investigates whether individuals can learn to accurately discriminate between human-written and AI-produced texts when provided with immediate feedback, and if they can use this feedback to recalibrate their self-perceived competence. We also explore the specific criteria individuals rely upon when making these decisions, focusing on textual style and perceived readability. We used GPT-4o to generate several hundred texts across various genres and text types comparable to Koditex, a multi-register corpus of human-written texts. We then presented randomized text pairs to 255 Czech native speakers who identified which text was human-written and which was AI-generated. Participants were randomly assigned to two conditions: one receiving immediate feedback after each trial, the other receiving no feedback until experiment completion. We recorded accuracy in identification, confidence levels, response times, and judgments about text readability along with demographic data and participants’ engagement with AI technologies prior to the experiment. Participants receiving immediate feedback showed significant improvement in accuracy and confidence calibration. Participants initially held incorrect assumptions about AI-generated text features, including expectations about stylistic rigidity and readability. Notably, without feedback, participants made the most errors precisely when feeling most confident — an issue largely resolved among the feedback group. The ability to differentiate between human and AI-generated texts can be effectively learned through targeted training with explicit feedback, which helps correct misconceptions about AI stylistic features and readability, as well as potential other variables that were not explored, while facilitating more accurate self-assessment. This finding might be particularly important in educational contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google