Evaluating and Inducing Personality in Pre-trained Language Models

要約

哲学的探求として生まれた性格の研究は、個人の考え方、感じ方、行動の違いに関係します。
日常的に人間と協働するソーシャル マシンの構築に向けて、私たちは「既存の大規模言語モデル (LLM) は、対応する人間に似た性格を持っているだろうか?」と問いたいと考えています。
もしそうなら、どのように評価すればよいでしょうか?
さらに、この評価枠組みを前提とした場合、どのようにして特定の性格を制御可能な方法で誘導できるのでしょうか?
これら 3 つの質問に答えるために、マシンのパーソナリティを評価するための Machine Personality Inventory (MPI) データセットを提案します。
MPI は、Big Five Personality Factors (Big Five) 理論と性格評価目録に基づいて構築された、標準化された性格テストに従います。
MPI を使用して LLM を系統的に評価することで、LLM に個性が存在することを示す最初の証拠を提供します。
さらに、制御可能な方法で特定の性格を持つ LLM を誘導し、多様な行動を生み出すことができる性格プロンプティング (P^2) 方法を考案します。
私たちは、この研究がさまざまな下流タスクの重要なガイドとしてパーソナリティを採用し、人間のようなその場での対話エージェントを構築することによって、将来の研究に光を当てることを願っています。

要約(オリジナル)

Originating as a philosophical quest, the study of personality concerns how individuals differ in thinking, feeling, and behaving. Towards building social machines that work with humans on a daily basis, we are motivated to ask: Do existing Large Language Models (LLMs) possess personalities akin to their human counterparts? If so, how can we evaluate them? Further, given this evaluation framework, how can we induce a particular personality in a controllable fashion? To answer these three questions, we propose the Machine Personality Inventory (MPI) dataset for evaluating the machine personality; MPI follows standardized personality tests, built upon the Big Five Personality Factors (Big Five) theory and personality assessment inventories. By systematically evaluating LLMs with MPI, we provide the first piece of evidence showing the existence of personality in LLMs. We further devise a Personality Prompting (P^2) method to induce LLMs with a specific personality in a controllable manner, capable of producing diverse behaviors. We hope this work sheds light on future studies by adopting personality as the essential guide for various downstream tasks, building human-like and in situ dialogue agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google