Contrasting Linguistic Patterns in Human and LLM-Generated News Text

要約

我々は、人間が書いた英語のニューステキストと、3つの異なるファミリー、合計4つのサイズをカバーする6つの異なるLLMからの比較可能な大規模言語モデル（LLM）出力を対比する定量的分析を行う。我々の分析は、形態論的、構文論的、心理測定的、社会言語学的側面など、測定可能な言語学的次元に及ぶ。その結果、人間とAIが生成したテキストの間に様々な測定可能な違いがあることが明らかになった。人間のテキストは、文の長さの分布がよりばらばらで、語彙がより多様で、係り受けと構成要素のタイプが明確に使い分けられ、構成要素がより短く、係り受けの距離がより最適化されている。人間は、LLMによって生成されたテキストと比較して、より強い否定的な感情（恐怖や嫌悪など）を示し、喜びは少ない傾向があり、これらのモデルの毒性はサイズが大きくなるにつれて増加する。LLMの出力は、人間のテキストよりも数字、記号、助動詞（客観的な言語を示唆）が多く使われ、代名詞も多い。人間のテキストに広く見られる性差別的なバイアスは、LLMでも表現され、1つを除くすべてのLLMで拡大されている。LLMと人間の違いは、LLM間よりも大きい。

要約(オリジナル)

We conduct a quantitative analysis contrasting human-written English news text with comparable large language model (LLM) output from six different LLMs that cover three different families and four sizes in total. Our analysis spans several measurable linguistic dimensions, including morphological, syntactic, psychometric, and sociolinguistic aspects. The results reveal various measurable differences between human and AI-generated texts. Human texts exhibit more scattered sentence length distributions, more variety of vocabulary, a distinct use of dependency and constituent types, shorter constituents, and more optimized dependency distances. Humans tend to exhibit stronger negative emotions (such as fear and disgust) and less joy compared to text generated by LLMs, with the toxicity of these models increasing as their size grows. LLM outputs use more numbers, symbols and auxiliaries (suggesting objective language) than human texts, as well as more pronouns. The sexist bias prevalent in human text is also expressed by LLMs, and even magnified in all of them but one. Differences between LLMs and humans are larger than between LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL