ChOiRe: Characterizing and Predicting Human Opinions with Chain of Opinion Reasoning

要約

言語モデル (LM) を人間の意見と一致させることは、困難ではありますが、人間の価値観、好み、信念の理解を強化するために不可欠です。
我々は、人間の意見を予測するための 4 段階のソリューション フレームワークである ChOiRe を紹介します。これは、手動で宣言されたユーザーの明示的なペルソナ (つまり、人口統計的またはイデオロギー的属性) と、ユーザーの過去の意見から推測される暗黙的なペルソナを区別します。
具体的には、(i) ユーザーの明示的なペルソナを分析して無関係な属性を除外する LM で構成されます。
(ii) LM が暗黙のペルソナの意見を優先リストにランク付けします。
(iii) 意見連鎖 (CoO) 推論。LM は、明示的なペルソナと最も関連性の高い暗黙的なペルソナを順番に分析して、意見の予測を実行します。
(iv) そして、ChOiRe は、最終結果を推測するための不十分なペルソナ情報を克服するために、ますます大きな暗黙的ペルソナのリストを使用してステップ (iii) CoO を複数回実行します。
ChOiRe は、限られた推論呼び出しで新しい最先端の効率性を実現し、以前の LLM ベースの技術を 3.22% 大幅に改善します。

要約(オリジナル)

Aligning language models (LMs) with human opinion is challenging yet vital to enhance their grasp of human values, preferences, and beliefs. We present ChOiRe, a four-step solution framework to predict human opinion that differentiates between the user explicit personae (i.e. demographic or ideological attributes) that are manually declared and implicit personae inferred from user historical opinions. Specifically, it consists of (i) an LM analyzing the user explicit personae to filter out irrelevant attributes; (ii) the LM ranking the implicit persona opinions into a preferential list; (iii) Chain-of-Opinion (CoO) reasoning, where the LM sequentially analyzes the explicit personae and the most relevant implicit personae to perform opinion prediction; (iv) and where ChOiRe executes Step (iii) CoO multiple times with increasingly larger lists of implicit personae to overcome insufficient personae information to infer a final result. ChOiRe achieves new state-of-the-art effectiveness with limited inference calls, improving previous LLM-based techniques significantly by 3.22%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google