A Linguistic Comparison between Human and ChatGPT-Generated Conversations

要約

本研究では、ChatGPT-3.5によって生成された19.5Kの対話をEmpathicDialoguesデータセットのコンパニオンとして使用し、人間とLLMによって生成された対話の言語的差異を探索する。この研究ではLIWC（Linguistic Inquiry and Word Count）分析を採用し、118の言語カテゴリーにわたってChatGPTが生成した会話と人間の会話を比較した。その結果、人間の対話の方がより多様で信憑性が高いが、ChatGPTは社会的プロセス、分析スタイル、認知、注意集中、肯定的な感情トーンなどのカテゴリーで優れており、LLMが「人間よりも人間的」であるという最近の知見を補強している。しかし、ChatGPTと人間の対話の間には、肯定的・否定的感情において有意な差は見られなかった。ダイアログの埋め込みデータを分類器により分析した結果、会話中に明示的な感情の言及がないにもかかわらず、暗黙のうちに感情の弁別が符号化されていることが示された。また、ChatGPTで生成された2つの独立したチャットボット間の会話データセットが、オープンアクセスで利用可能な人間の会話コーパスを再現するように設計されており、言語モデリングに関するAI研究で広く利用されている。私たちの発見は、ChatGPTの言語能力の理解を深め、AIが生成したフェイク、誤報、偽情報を検出する上で重要な、人間とLLMが生成したテキストを区別するための継続的な取り組みに役立ちます。

要約(オリジナル)

This study explores linguistic differences between human and LLM-generated dialogues, using 19.5K dialogues generated by ChatGPT-3.5 as a companion to the EmpathicDialogues dataset. The research employs Linguistic Inquiry and Word Count (LIWC) analysis, comparing ChatGPT-generated conversations with human conversations across 118 linguistic categories. Results show greater variability and authenticity in human dialogues, but ChatGPT excels in categories such as social processes, analytical style, cognition, attentional focus, and positive emotional tone, reinforcing recent findings of LLMs being ‘more human than human.’ However, no significant difference was found in positive or negative affect between ChatGPT and human dialogues. Classifier analysis of dialogue embeddings indicates implicit coding of the valence of affect despite no explicit mention of affect in the conversations. The research also contributes a novel, companion ChatGPT-generated dataset of conversations between two independent chatbots, which were designed to replicate a corpus of human conversations available for open access and used widely in AI research on language modeling. Our findings increase understanding of ChatGPT’s linguistic capabilities and inform ongoing efforts to distinguish between human and LLM-generated text, which is critical in detecting AI-generated fakes, misinformation, and disinformation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL