Eliciting Big Five Personality Traits in Large Language Models: A Textual Analysis with Classifier-Driven Approach

要約

大規模言語モデル (LLM) は、採用の文脈において候補者と雇用主の両方によってますます利用されています。
しかし、これには、特にこれらの「ブラックボックス」モデルにおける透明性の欠如に関連した、多くの倫理的懸念が伴います。
これまでの研究では、LLM の性格特性を調査することでこれらのモデルの透明性を高めることが試みられてきましたが、以前の研究の多くは、LLM に完了するための性格評価を提供していました。
一方、この研究では、さまざまな入力プロンプトに基づいて出力の変化を調べることで、そのようなモデルをより深く理解することを目指しています。
具体的には、一般的なインタビューの質問から導き出されたプロンプトと、特定のビッグ 5 の性格特性を引き出すように設計されたプロンプトを使用した新しい誘発アプローチを使用して、モデルが人間と同じように特性活性化の影響を受けやすいかどうかを調べ、モデルの性格を評価します。
出力で使用される言語。
そのために、Llama-2、Falcon、Mistral、Bloom、GPT、OPT、XLNet (基本バージョンと微調整バージョン) を含む、異なるパラメーター サイズを持つ複数の LM に繰り返しプロンプトを出し、myPersonality データセットでトレーニングされた分類器を使用してそれらの性格を調べました。
私たちの結果は、一般的にすべての LLM が高いオープン性と低い外向性を示していることを明らかにしています。
ただし、パラメーターが少ない LM は性格特性において同様の行動を示しますが、より多くのパラメーターを備えた新しい LM は、より広範囲の性格特性を示し、同調性、感情的安定性、オープンさが増加します。
さらに、パラメーターの数が多いほど、オープンさと誠実さとの間にプラスの相関関係があります。
さらに、微調整されたモデルは、データセットに応じて、性格特性にわずかな変化を示します。
将来の研究への影響と方向性について議論します。

要約(オリジナル)

Large Language Models (LLMs) are increasingly being utilized by both candidates and employers in the recruitment context. However, with this comes numerous ethical concerns, particularly related to the lack of transparency in these ‘black-box’ models. Although previous studies have sought to increase the transparency of these models by investigating the personality traits of LLMs, many of the previous studies have provided them with personality assessments to complete. On the other hand, this study seeks to obtain a better understanding of such models by examining their output variations based on different input prompts. Specifically, we use a novel elicitation approach using prompts derived from common interview questions, as well as prompts designed to elicit particular Big Five personality traits to examine whether the models were susceptible to trait-activation like humans are, to measure their personality based on the language used in their outputs. To do so, we repeatedly prompted multiple LMs with different parameter sizes, including Llama-2, Falcon, Mistral, Bloom, GPT, OPT, and XLNet (base and fine tuned versions) and examined their personality using classifiers trained on the myPersonality dataset. Our results reveal that, generally, all LLMs demonstrate high openness and low extraversion. However, whereas LMs with fewer parameters exhibit similar behaviour in personality traits, newer and LMs with more parameters exhibit a broader range of personality traits, with increased agreeableness, emotional stability, and openness. Furthermore, a greater number of parameters is positively associated with openness and conscientiousness. Moreover, fine-tuned models exhibit minor modulations in their personality traits, contingent on the dataset. Implications and directions for future research are discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google