Large Language Models (LLMs) as Agents for Augmented Democracy

要約

私たちは、2022 年のブラジル大統領選挙の 2 人の主要候補者の政府プログラムから抽出された政策に対する国民の好みに関するデータを強化するために微調整された、既製の LLM 上に構築された拡張民主主義システムを調査します。
私たちはトレーニングとテストの相互検証セットアップを使用して、LLM が被験者の個人的な政治的選択と参加者の全サンプルの総計的な好みの両方を予測する精度を推定します。
個人レベルでは、LLM は、国民が常に自己申告の政治的方向性と一致する候補者の提案に投票すると仮定する「バンドル ルール」よりも、サンプルからの選好をより正確に予測することがわかりました。
集団レベルでは、LLM によって増強された確率的サンプルは、増強されていない確率的サンプル単独よりも集団の総合的な選好のより正確な推定値を提供することを示します。
これらの結果を総合すると、LLM を使用して拡張された政策選好データは党派を超えた微妙なニュアンスを捉えることができ、データ拡張のための有望な研究手段となることが示されています。

要約(オリジナル)

We explore an augmented democracy system built on off-the-shelf LLMs fine-tuned to augment data on citizen’s preferences elicited over policies extracted from the government programs of the two main candidates of Brazil’s 2022 presidential election. We use a train-test cross-validation setup to estimate the accuracy with which the LLMs predict both: a subject’s individual political choices and the aggregate preferences of the full sample of participants. At the individual level, we find that LLMs predict out of sample preferences more accurately than a ‘bundle rule’, which would assume that citizens always vote for the proposals of the candidate aligned with their self-reported political orientation. At the population level, we show that a probabilistic sample augmented by an LLM provides a more accurate estimate of the aggregate preferences of a population than the non-augmented probabilistic sample alone. Together, these results indicates that policy preference data augmented using LLMs can capture nuances that transcend party lines and represents a promising avenue of research for data augmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google