Human heuristics for AI-generated language are flawed

要約

人間のコミュニケーションは、ますます AI によって生成された言語と混ざり合っています。
チャット、メール、ソーシャル メディア全体で、AI システムは単語を提案したり、文章を完成させたり、会話全体を生成したりします。
AI によって生成された言語は、多くの場合、そのように識別されず、人間によって書かれた言語として提示され、新しい形式の欺瞞や操作に関する懸念が生じています。
ここでは、言語の最も個人的で重要な形式の 1 つである言語による自己表現が AI によって生成されたかどうかを、人間がどのように識別するかを研究します。
6 つの実験で、参加者 (N = 4,600) は、最先端の AI 言語モデルによって生成されたプロ、ホスピタリティ、およびデートのコンテキストでの自己表現を検出できませんでした。
言語機能のコンピューター分析によると、AI によって生成された言語に対する人間の判断は、一人称代名詞、短縮形の使用、または家族の話題を人間が書いた言語に関連付けるなど、直感的ではあるが欠陥のあるヒューリスティックによって妨げられていることが示されています。
これらのヒューリスティックにより、AI によって生成された言語に対する人間の判断が予測可能で操作可能になり、AI システムが「人間よりも人間的」と認識されるテキストを生成できるようになることを実験的に示しています。
AI によって生成される言語の欺瞞の可能性を減らし、人間の直感の転覆を制限するための AI アクセントなどのソリューションについて説明します。

要約(オリジナル)

Human communication is increasingly intermixed with language generated by AI. Across chat, email, and social media, AI systems suggest words, complete sentences, or produce entire conversations. AI-generated language is often not identified as such but presented as language written by humans, raising concerns about novel forms of deception and manipulation. Here, we study how humans discern whether verbal self-presentations, one of the most personal and consequential forms of language, were generated by AI. In six experiments, participants (N = 4,600) were unable to detect self-presentations generated by state-of-the-art AI language models in professional, hospitality, and dating contexts. A computational analysis of language features shows that human judgments of AI-generated language are hindered by intuitive but flawed heuristics such as associating first-person pronouns, use of contractions, or family topics with human-written language. We experimentally demonstrate that these heuristics make human judgment of AI-generated language predictable and manipulable, allowing AI systems to produce text perceived as ‘more human than human.’ We discuss solutions, such as AI accents, to reduce the deceptive potential of language generated by AI, limiting the subversion of human intuition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google