Secret Keepers: The Impact of LLMs on Linguistic Markers of Personal Traits

要約

先行研究では、個人の言語使用と個人的特徴との関連性が確立されており、私たちの言語パターンは、私たちの性格、感情状態、信念に関する情報を明らかにする。しかし、大規模言語モデル（LLM）が日常的なライティングのアシスタントとして採用されるようになり、LLMがライティングプロセスに関与している場合でも、著者の言語パターンは個人的特徴を予測できるのかという重要な疑問が浮上している。具体的には、GPT3.5、Llama 2、Geminiの3つのLLMについて、性別、年齢、政治的所属、性格、共感性、道徳性の6つの異なる特性について調査した。その結果、LLMの使用は、著者の個人的特徴に対する言語パターンの予測力をわずかに低下させるものの、有意な変化はまれであり、LLMの使用は、著者の個人的特徴に対する言語パターンの予測力を完全に低下させるものではないことがわかった。また、理論的に確立された語彙ベースの言語的マーカーの中には、LLMが執筆過程で使用されると予測因子としての信頼性を失うものもある。我々の発見は、LLMの時代における個人的特徴の言語的マーカーの研究に重要な示唆を与えるものである。

要約(オリジナル)

Prior research has established associations between individuals’ language usage and their personal traits; our linguistic patterns reveal information about our personalities, emotional states, and beliefs. However, with the increasing adoption of Large Language Models (LLMs) as writing assistants in everyday writing, a critical question emerges: are authors’ linguistic patterns still predictive of their personal traits when LLMs are involved in the writing process? We investigate the impact of LLMs on the linguistic markers of demographic and psychological traits, specifically examining three LLMs – GPT3.5, Llama 2, and Gemini – across six different traits: gender, age, political affiliation, personality, empathy, and morality. Our findings indicate that although the use of LLMs slightly reduces the predictive power of linguistic patterns over authors’ personal traits, the significant changes are infrequent, and the use of LLMs does not fully diminish the predictive power of authors’ linguistic patterns over their personal traits. We also note that some theoretically established lexical-based linguistic markers lose their reliability as predictors when LLMs are used in the writing process. Our findings have important implications for the study of linguistic markers of personal traits in the age of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL