Identifying Multiple Personalities in Large Language Models with External Evaluation

要約

大規模言語モデル (LLM) が人間の日常アプリケーションに急速に統合されるにつれて、LLM の動作に関して多くの社会的および倫理的懸念が生じます。
LLM の行動を理解する方法の 1 つは、LLM の性格を分析することです。
最近の研究の多くは、人間用に作成された自己評価テストを使用して LLM の性格を定量化しています。
しかし、多くの批評家は、これらの自己評価テストを LLM に適用した場合の適用性と信頼性を疑問視しています。
この論文では、外部評価法と呼ぶ代替性格測定法を使用して LLM 性格を調査します。この方法では、LLM にリッカート尺度での多肢選択の質問を促す代わりに、LLM の応答を分析することによって LLM の性格を評価します。
外部機械学習モデルを使用した自由回答の状況質問。
私たちはまず、LLM の反応を分析するツールとして最先端のモデルを上回る MBTI 性格予測子として Llama2-7B モデルを微調整しました。
次に、LLM に状況に応じた質問を促し、2 つの異なる役割を演じたときの性格を評価するために、それぞれ Twitter の投稿とコメントを作成するように依頼します。
外部性格評価手法を使用して、LLM の取得された性格タイプは投稿とコメントの生成時に大きく異なるのに対し、人間はこれら 2 つの異なる状況で一貫した性格プロファイルを示すことがわかりました。
これは、LLM がさまざまなシナリオに基づいてさまざまな性格を示す可能性があることを示しており、したがって、LLM と人間の性格の根本的な違いが強調されています。
私たちの活動を通じて、私たちは LLM における性格の定義と測定の再評価を求めています。

要約(オリジナル)

As Large Language Models (LLMs) are integrated with human daily applications rapidly, many societal and ethical concerns are raised regarding the behavior of LLMs. One of the ways to comprehend LLMs’ behavior is to analyze their personalities. Many recent studies quantify LLMs’ personalities using self-assessment tests that are created for humans. Yet many critiques question the applicability and reliability of these self-assessment tests when applied to LLMs. In this paper, we investigate LLM personalities using an alternate personality measurement method, which we refer to as the external evaluation method, where instead of prompting LLMs with multiple-choice questions in the Likert scale, we evaluate LLMs’ personalities by analyzing their responses toward open-ended situational questions using an external machine learning model. We first fine-tuned a Llama2-7B model as the MBTI personality predictor that outperforms the state-of-the-art models as the tool to analyze LLMs’ responses. Then, we prompt the LLMs with situational questions and ask them to generate Twitter posts and comments, respectively, in order to assess their personalities when playing two different roles. Using the external personality evaluation method, we identify that the obtained personality types for LLMs are significantly different when generating posts versus comments, whereas humans show a consistent personality profile in these two different situations. This shows that LLMs can exhibit different personalities based on different scenarios, thus highlighting a fundamental difference between personality in LLMs and humans. With our work, we call for a re-evaluation of personality definition and measurement in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google