Large Language Models (LLMs) as Agents for Augmented Democracy

要約

私たちは、2022 年のブラジル大統領選挙中に収集された 67 の政策提案にわたる個人の好みを要約したデータに基づいて微調整された、既製の LLM 上に構築された拡張民主主義システムの機能を調査します。
私たちはトレーニングとテストの相互検証セットアップを使用して、LLM が被験者の個人的な政治的選択と参加者の全サンプルの総計的な好みの両方を予測する精度を推定します。
個人レベルでは、サンプル外予測の精度は 69% ～ 76% の範囲にあり、文系および大学教育を受けた参加者の好みを予測するのに大幅に優れています。
母集団レベルでは、Borda スコアの適応を使用して選好を集計し、参加者の確率的サンプルと LLM を使用して拡張されたデータから得られた政策提案のランキングを比較します。
参加者が全母集団の 30% ～ 40% 未満である場合、拡張データは確率サンプルのみよりも全母集団の好みをより正確に予測することがわかりました。
これらの結果は、LLM が拡張された民主主義のシステムの構築に潜在的に役立つことを示しています。

要約(オリジナル)

We explore the capabilities of an augmented democracy system built on off-the-shelf LLMs fine-tuned on data summarizing individual preferences across 67 policy proposals collected during the 2022 Brazilian presidential elections. We use a train-test cross-validation setup to estimate the accuracy with which the LLMs predict both: a subject’s individual political choices and the aggregate preferences of the full sample of participants. At the individual level, the accuracy of the out of sample predictions lie in the range 69%-76% and are significantly better at predicting the preferences of liberal and college educated participants. At the population level, we aggregate preferences using an adaptation of the Borda score and compare the ranking of policy proposals obtained from a probabilistic sample of participants and from data augmented using LLMs. We find that the augmented data predicts the preferences of the full population of participants better than probabilistic samples alone when these represent less than 30% to 40% of the total population. These results indicate that LLMs are potentially useful for the construction of systems of augmented democracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google