Large Language Models (LLMs) as Agents for Augmented Democracy

要約

我々は、2022年のブラジル大統領選挙で収集された67の政策提案に対する個人の選好を要約したデータを基に、既製のLLMを微調整して構築された拡張民主主義システムの能力を探求する。我々は、訓練とテストの交差検証のセットアップを使用して、LLMが被験者の個人の政治的選択と参加者の全サンプルの嗜好の集計の両方を予測する精度を推定する。個人レベルでは、標本外予測の精度は69％～76％の範囲にあり、リベラルで大卒の参加者の選好を予測するのに有意に優れている。母集団レベルでは、ボルダ・スコアの適応を用いて選好を集計し、参加者の確率的サンプルとLLMを用いて増強したデータから得られた政策提案のランキングを比較する。その結果、参加者が全人口の30％から40％未満である場合、確率的サンプルのみよりも、LLMで補強されたデータの方が、参加者の全人口の選好を予測することがわかった。これらの結果は、LLMが拡張民主主義のシステム構築に有用である可能性を示している。

要約(オリジナル)

We explore the capabilities of an augmented democracy system built on off-the-shelf LLMs fine-tuned on data summarizing individual preferences across 67 policy proposals collected during the 2022 Brazilian presidential elections. We use a train-test cross-validation setup to estimate the accuracy with which the LLMs predict both: a subject’s individual political choices and the aggregate preferences of the full sample of participants. At the individual level, the accuracy of the out of sample predictions lie in the range 69%-76% and are significantly better at predicting the preferences of liberal and college educated participants. At the population level, we aggregate preferences using an adaptation of the Borda score and compare the ranking of policy proposals obtained from a probabilistic sample of participants and from data augmented using LLMs. We find that the augmented data predicts the preferences of the full population of participants better than probabilistic samples alone when these represent less than 30% to 40% of the total population. These results indicate that LLMs are potentially useful for the construction of systems of augmented democracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL