Stick to Your Role! Context-dependence and Stability of Personal Value Expression in Large Language Models

要約

ベンチマークや心理学アンケートを使用して大規模言語モデル (LLM) を研究する標準的な方法は、同様の最小限のコンテキスト (複数選択の質問など) から多くの異なるクエリを提供することです。
ただし、LLM はコンテキストに大きく依存する性質があるため、このような最小限のコンテキストの評価から得られる結論は、(モデルが多くの新しいコンテキストにさらされる) デプロイメント時におけるモデルの動作についてほとんど有益ではない可能性があります。
私たちは、コンテキスト依存性 (具体的には値の安定性) は LLM の特定の特性として研究され、LLM 比較の別の次元として (認知能力、知識、モデル サイズなどの他の次元と並んで) 使用されるべきであると主張します。
標準的な心理アンケート（PVQ）と行動の下流タスクを使用して測定した、さまざまなコンテキスト（さまざまなトピックに関する模擬会話）にわたる価値表現の安定性に関するケーススタディを紹介します。
心理学の手法を再利用して、集団 (対人) レベルでの順位の安定性と、個人 (個人内) レベルでの Ipsative の安定性を研究します。
2 つの設定 (LLM に特定のペルソナをシミュレートするように指示する場合としない場合)、2 つのシミュレートされた母集団、および 3 つの下流タスクを検討します。
モデルおよびモデル ファミリの安定性には一貫した傾向が見られます。Mixtral、Mistral、GPT-3.5、および Qwen ファミリは、LLaMa-2 および Phi よりも安定しています。
これらの傾向の一貫性は、一部のモデルが他のモデルよりも高い値の安定性を示し、導入された一連の方法論ツールを使用して値の安定性を推定できることを意味します。
特定のペルソナをシミュレートするように指示された場合、LLM は低いランク順序安定性を示し、会話の長さが増すにつれてさらに低下します。
これは、さまざまなペルソナを一貫してシミュレートする LLM に関する将来の研究の必要性を強調しています。
この論文はその方向への基礎的な一歩を提供するものであり、私たちの知る限りでは、LLM における価値の安定性に関する最初の研究です。

要約(オリジナル)

The standard way to study Large Language Models (LLMs) with benchmarks or psychology questionnaires is to provide many different queries from similar minimal contexts (e.g. multiple choice questions). However, due to LLMs’ highly context-dependent nature, conclusions from such minimal-context evaluations may be little informative about the model’s behavior in deployment (where it will be exposed to many new contexts). We argue that context-dependence (specifically, value stability) should be studied a specific property of LLMs and used as another dimension of LLM comparison (alongside others such as cognitive abilities, knowledge, or model size). We present a case-study on the stability of value expression over different contexts (simulated conversations on different topics) as measured using a standard psychology questionnaire (PVQ) and on behavioral downstream tasks. Reusing methods from psychology, we study Rank-order stability on the population (interpersonal) level, and Ipsative stability on the individual (intrapersonal) level. We consider two settings (with and without instructing LLMs to simulate particular personas), two simulated populations, and three downstream tasks. We observe consistent trends in the stability of models and model families – Mixtral, Mistral, GPT-3.5 and Qwen families are more stable than LLaMa-2 and Phi. The consistency of these trends implies that some models exhibit higher value-stability than others, and that value stability can be estimated with the set of introduced methodological tools. When instructed to simulate particular personas, LLMs exhibit low Rank-Order stability, which further diminishes with conversation length. This highlights the need for future research on LLMs that coherently simulate different personas. This paper provides a foundational step in that direction, and, to our knowledge, it is the first study of value stability in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google