Aligning Large Language Models with Human Opinions through Persona Selection and Value–Belief–Norm Reasoning

要約

大規模言語モデル(LLM)を用いて人間の意見を推論・予測することは、必要不可欠であるが困難である。現在の手法はペルソナを使ったロールプレイを採用しているが、2つの大きな問題に直面している：LLMは1つの無関係なペルソナの影響を受けやすく、予測が最大30%歪むこと、そしてLLMはペルソナを戦略的に推論できないことである。我々は、Value-Belief-Norm (VBN)理論にインスパイアされた、ペルソナをどのように推論するかをモデル化するシンプルな4段階のソリューションであるChain-of-Opinion (COO)を提案する。COOは、明示的ペルソナ（人口統計とイデオロギー）と暗黙的ペルソナ（歴史的意見）を区別し、(1)明示的ペルソナから無関係な属性をフィルタリングし、(2)暗黙的ペルソナを優先リストにランク付けし、top-kを選択し、(3)新しいVBN推論を適用して、正確で信頼できる予測のために、ユーザの環境と個人の価値、信念、規範変数を抽出し、(4)潜在的なペルソナ不足を処理するために、徐々に大きな暗黙的ペルソナリストでVBN推論を反復する。COOは、たった5回の推論呼び出しで、プロンプトによる新しい最先端の意見予測を効率的に達成し、先行技術を最大4%改善した。注目すべきは、COOデータを用いてLMを微調整することで、最大23%も有意に優れた意見整合モデルが得られることである。

要約(オリジナル)

Reasoning and predicting human opinions with large language models (LLMs) is essential yet challenging. Current methods employ role-playing with personae but face two major issues: LLMs are sensitive to even a single irrelevant persona, skewing predictions by up to 30%, and LLMs fail to reason strategically over personae. We propose Chain-of-Opinion (COO), a simple four-step solution modeling which and how to reason with personae, inspired by the Value–Belief–Norm (VBN) theory. COO differentiates between explicit personae (demographics and ideology) and implicit personae (historical opinions), involves: (1) filtering irrelevant attributes from explicit personae, (2) ranking implicit personae into a preferential list for selecting top-k, (3) applying novel VBN reasoning to extract user environmental and personal value, belief, and norm variables for accurate and reliable predictions, and (4) iterating VBN reasoning with progressively larger lists of implicit personae to handle potential persona insufficiency. COO efficiently achieves new state-of-the-art opinion prediction via prompting with only 5 inference calls, improving prior techniques by up to 4%. Notably, fine-tuning LMs with COO data results in significantly better opinion-aligned models, by up to 23%.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL