Trying to be human: Linguistic traces of stochastic empathy in language models

要約

生成されたコンテンツと人間が書いたコンテンツを区別することは、現代の世界を生きていく上で重要です。
大規模言語モデル (LLM) は、コンピューター生成コンテンツの品質向上を支える重要な推進力です。
報告によると、人間は AI モデルがテキストを生成したかどうかを識別することがますます困難になっていると感じています。
私たちの研究では、共感と人間に見えるインセンティブという 2 つの重要な要素が人間と AI の競争にどのように寄与するかをテストしています。
私たちは 2 つの実験で両方の側面に取り組みます。人間の参加者と最先端の LLM が、人間関係のアドバイス (研究 1、n=530) または単なる説明 (研究 2、n=610) を書き、人間と同じように行動するように指示されました。
可能かどうか。
次に、人間の新しいサンプル (n=428 および n=408) がテキストの出典を判断しました。
私たちの調査結果は、共感が必要な場合、人間は優れていることを示しています。
予想に反して、人間のように見せるための指示は LLM にのみ有効であったため、人間の利点は減少しました。
コンピューターによるテキスト分析により、LLM はテキストを人間たらしめる要素を暗黙的に表現し、これらのヒューリスティックを簡単に適用できるため、より人間的になることが明らかになりました。
このモデルは、確率的共感を模倣するために、より単純な語彙を使用した会話的で自己言及的で非公式な口調に頼っています。
LLM のパフォーマンスが同等であるという最近の主張を踏まえて、これらの発見について説明します。

要約(オリジナル)

Differentiating between generated and human-written content is important for navigating the modern world. Large language models (LLMs) are crucial drivers behind the increased quality of computer-generated content. Reportedly, humans find it increasingly difficult to identify whether an AI model generated a piece of text. Our work tests how two important factors contribute to the human vs AI race: empathy and an incentive to appear human. We address both aspects in two experiments: human participants and a state-of-the-art LLM wrote relationship advice (Study 1, n=530) or mere descriptions (Study 2, n=610), either instructed to be as human as possible or not. New samples of humans (n=428 and n=408) then judged the texts’ source. Our findings show that when empathy is required, humans excel. Contrary to expectations, instructions to appear human were only effective for the LLM, so the human advantage diminished. Computational text analysis revealed that LLMs become more human because they may have an implicit representation of what makes a text human and effortlessly apply these heuristics. The model resorts to a conversational, self-referential, informal tone with a simpler vocabulary to mimic stochastic empathy. We discuss these findings in light of recent claims on the on-par performance of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google