Using LLMs to Model the Beliefs and Preferences of Targeted Populations

要約

私たちは、人間集団の好みをモデル化するために大規模言語モデル (LLM) を調整する問題を検討します。
特定の集団の信念、好み、行動をモデル化することは、新製品のシミュレーションによるフォーカス グループの実施、仮想調査の実施、行動介入のテスト、特に高価で非現実的な介入のテストなど、さまざまな用途に役立ちます。
または非倫理的。
LLM を使用してさまざまなコンテキストで人間の行動を正確にモデル化する既存の研究は、さまざまな成功を収めてきました。
私たちは 2 つのよく知られた微調整アプローチをベンチマークして評価し、バッテリー電気自動車 (BEV) の好みに関する調査で、実際の人間の回答者の好みと一致する能力について、結果として得られた母集団を評価します。
私たちはモデルを集団全体の統計と一致させる能力と個々の応答を一致させる能力に対して評価し、これら 2 つの間のトレードオフの制御における温度の役割を調査します。
さらに、数値応答を必要とする応答でのモデルのパフォーマンスを向上させるために、新しい損失項を提案および評価します。

要約(オリジナル)

We consider the problem of aligning a large language model (LLM) to model the preferences of a human population. Modeling the beliefs, preferences, and behaviors of a specific population can be useful for a variety of different applications, such as conducting simulated focus groups for new products, conducting virtual surveys, and testing behavioral interventions, especially for interventions that are expensive, impractical, or unethical. Existing work has had mixed success using LLMs to accurately model human behavior in different contexts. We benchmark and evaluate two well-known fine-tuning approaches and evaluate the resulting populations on their ability to match the preferences of real human respondents on a survey of preferences for battery electric vehicles (BEVs). We evaluate our models against their ability to match population-wide statistics as well as their ability to match individual responses, and we investigate the role of temperature in controlling the trade-offs between these two. Additionally, we propose and evaluate a novel loss term to improve model performance on responses that require a numeric response.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google