Differentiating between human-written and AI-generated texts using linguistic features automatically extracted from an online computational tool

要約

近年、ChatGPT に焦点を当てた広範な研究が行われていますが、人間が書いた言語と人工知能 (AI) が生成した言語の言語的特徴を系統的に定量化し、比較した研究はほとんどありません。
この研究は、両方のタイプのテキストでさまざまな言語構成要素がどのように表現されているかを調査し、AI が人間の文章をエミュレートする能力を評価することを目的としています。
人間が作成したエッセイをベンチマークとして使用し、ChatGPT に同等の長さのエッセイを生成するよう促しました。
これらのテキストは、オンライン計算ツールである Open Brain AI を使用して分析され、音韻的、形態的、構文的、語彙的な構成要素の尺度が抽出されました。
AI が生成したテキストは人間の音声を模倣しているように見えますが、その結果、子音、単語の強勢、名詞、動詞、代名詞、直接目的語、前置詞修飾語、難しい単語の使用など、複数の言語的特徴にわたって大きな違いがあることが明らかになりました。
これらの調査結果は、効率的な言語評価のために自動ツールを統合し、データ分析の時間と労力を削減することの重要性を強調しています。
さらに、より人間らしいテキストを生成するための AI の能力を向上させるための強化されたトレーニング方法の必要性を強調しています。

要約(オリジナル)

While extensive research has focused on ChatGPT in recent years, very few studies have systematically quantified and compared linguistic features between human-written and Artificial Intelligence (AI)-generated language. This study aims to investigate how various linguistic components are represented in both types of texts, assessing the ability of AI to emulate human writing. Using human-authored essays as a benchmark, we prompted ChatGPT to generate essays of equivalent length. These texts were analyzed using Open Brain AI, an online computational tool, to extract measures of phonological, morphological, syntactic, and lexical constituents. Despite AI-generated texts appearing to mimic human speech, the results revealed significant differences across multiple linguistic features such as consonants, word stress, nouns, verbs, pronouns, direct objects, prepositional modifiers, and use of difficult words among others. These findings underscore the importance of integrating automated tools for efficient language assessment, reducing time and effort in data analysis. Moreover, they emphasize the necessity for enhanced training methodologies to improve the capacity of AI for producing more human-like text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google