Benchmarking Distributional Alignment of Large Language Models

要約

言語モデル (LM) は人々のシミュラクルとしてますます使用されていますが、特定の人口統計グループの見解の分布に一致し、\textit{分布的に調整される}能力は依然として不確実です。
シミュレートされる属性のタイプには大幅なバリエーションがあるため、この分布調整の概念は複雑です。
これまでの研究では、質問ドメイン、ステアリング方法、分布表現方法という 3 つの重要な変数の役割が十分に検討されていませんでした。これが、これらの側面に明示的に対処するベンチマークの貢献の動機となっています。
私たちは、政治的価値観を超えて拡張するデータセットを構築し、このタスクのための人的ベースラインを作成し、LM が特定のグループの意見分布とどの程度一致して、そのようなシミュレーション システムの設計選択に情報を提供できるかを評価します。
私たちの分析により、LM を人間のシミュレーションに使用できるかどうか、またどのように使用できるか、また LLM は意見の分布をシミュレーションするよりも意見の分布をより正確に記述することができるという未解決の問題が明らかになりました。

要約(オリジナル)

Language models (LMs) are increasingly used as simulacra for people, yet their ability to match the distribution of views of a specific demographic group and be \textit{distributionally aligned} remains uncertain. This notion of distributional alignment is complex, as there is significant variation in the types of attributes that are simulated. Prior works have underexplored the role of three critical variables — the question domain, steering method, and distribution expression method — which motivates our contribution of a benchmark explicitly addressing these dimensions. We construct a dataset expanding beyond political values, create human baselines for this task, and evaluate the extent to which an LM can align with a particular group’s opinion distribution to inform design choices of such simulation systems. Our analysis reveals open problems regarding if, and how, LMs can be used to simulate humans, and that LLMs can more accurately describe the opinion distribution than simulate such distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google