Large Language Models as Superpositions of Cultural Perspectives

要約

大規模言語モデル (LLM) は、性格や一連の値を持つものとして誤解を招くことがよくあります。
私たちは、LLM はさまざまな価値観や性格特性を持つ視点を重ね合わせたものとみなすことができると主張します。
LLM は、コンテキストに依存した価値観と、誘発された視点に基づいて変化する性格特性を示します (コンテキスト全体でより一貫した価値観と性格特性を持つ傾向がある人間とは対照的です)。
視点の制御可能性の概念を導入します。これは、異なる価値観や性格特性を持つさまざまな視点を採用するモデルのアフォーダンスを指します。
私たちの実験では、心理学 (PVQ、VSM、IPIP) のアンケートを使用して、さまざまな視点に基づいて提示される価値観や性格特性がどのように変化するかを研究します。
定性的な実験を通じて、LLM がプロンプトに (暗黙的または明示的に) 暗示されている場合に異なる値を表現すること、および LLM が明らかに暗示されていない場合でも異なる値を表現することを示します (コンテキスト依存の性質を実証)。
次に、さまざまなモデル (GPT-4、GPT-3.5、OpenAssistant、StableVicuna、StableLM) の制御性、視点を誘導するためのさまざまな方法の有効性、およびモデルの運転性の滑らかさを研究するために定量的な実験を行います。
最後に、私たちの研究のより広範な意味を検討し、関連するさまざまな科学的疑問を概説します。
プロジェクトの Web サイトは https://sites.google.com/view/llm-superpositions から入手できます。

要約(オリジナル)

Large Language Models (LLMs) are often misleadingly recognized as having a personality or a set of values. We argue that an LLM can be seen as a superposition of perspectives with different values and personality traits. LLMs exhibit context-dependent values and personality traits that change based on the induced perspective (as opposed to humans, who tend to have more coherent values and personality traits across contexts). We introduce the concept of perspective controllability, which refers to a model’s affordance to adopt various perspectives with differing values and personality traits. In our experiments, we use questionnaires from psychology (PVQ, VSM, IPIP) to study how exhibited values and personality traits change based on different perspectives. Through qualitative experiments, we show that LLMs express different values when those are (implicitly or explicitly) implied in the prompt, and that LLMs express different values even when those are not obviously implied (demonstrating their context-dependent nature). We then conduct quantitative experiments to study the controllability of different models (GPT-4, GPT-3.5, OpenAssistant, StableVicuna, StableLM), the effectiveness of various methods for inducing perspectives, and the smoothness of the models’ drivability. We conclude by examining the broader implications of our work and outline a variety of associated scientific questions. The project website is available at https://sites.google.com/view/llm-superpositions .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google