Representative Social Choice: From Learning Theory to AI Alignment

要約

社会選択理論は、集団全体にわたる選好の集約に関する研究であり、人間エージェントのメカニズム設計と言語モデルの民主的調整の両方で使用されます。
この研究では、問題と個人の数が多すぎてメカニズムがすべての好みを直接考慮できない場合、集団決定における民主的代表をモデル化するための代表的な社会的選択の枠組みを提案します。
これらのシナリオは、陪審裁判、間接選挙、立法プロセス、企業統治、さらに最近では言語モデルの調整など、現実世界の意思決定プロセスに広く普及しています。
代表的な社会的選択では、社会的選択の決定に基づいて個人と問題のペアの有限サンプルによって母集団が表されます。
私たちは、代表的な社会的選択における最も深い質問の多くが統計的学習問題として自然に定式化できることを示し、機械学習の理論を使用して社会的選択メカニズムの一般化特性を証明します。
さらに、代表的な社会的選択の公理を定式化し、新しい組み合わせ分析ツールを使用してアローのような不可能性定理を証明します。
私たちのフレームワークは、社会的選択への代表的なアプローチを導入し、社会的選択、学習理論、AI 連携の交差点における研究の方向性を切り開きます。

要約(オリジナル)

Social choice theory is the study of preference aggregation across a population, used both in mechanism design for human agents and in the democratic alignment of language models. In this study, we propose the representative social choice framework for the modeling of democratic representation in collective decisions, where the number of issues and individuals are too large for mechanisms to consider all preferences directly. These scenarios are widespread in real-world decision-making processes, such as jury trials, indirect elections, legislation processes, corporate governance, and, more recently, language model alignment. In representative social choice, the population is represented by a finite sample of individual-issue pairs based on which social choice decisions are made. We show that many of the deepest questions in representative social choice can be naturally formulated as statistical learning problems, and prove the generalization properties of social choice mechanisms using the theory of machine learning. We further formulate axioms for representative social choice, and prove Arrow-like impossibility theorems with new combinatorial tools of analysis. Our framework introduces the representative approach to social choice, opening up research directions at the intersection of social choice, learning theory, and AI alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google