Plurals: A System for Guiding LLMs Via Simulated Social Ensembles

要約

最近の議論では、言語モデルが特定の観点を優先する可能性があるという懸念が生じました。
しかし、解決策が「何もないところからの視点」を目指すことではなく、さまざまな視点を活用することだったらどうでしょうか?
多元的な AI 審議のためのシステムと Python ライブラリである Plurals を紹介します。
複数形は、カスタマイズ可能な構造内で審議するエージェント (LLM、オプションでペルソナ付き) で構成され、モデレーターが審議を監督します。
Plurals は、シミュレートされた社会的アンサンブルのジェネレーターです。
Plurals は政府のデータセットと統合して国家を代表するペルソナを作成し、熟議民主主義からインスピレーションを得た熟議テンプレートを含み、ユーザーが構造内で情報共有構造と熟議行動の両方をカスタマイズできるようにします。
6 つのケーススタディは、理論的構成と有効性への忠実性を示しています。
3 つのランダム化された実験では、シミュレートされたフォーカス グループが、関連する視聴者のオンライン サンプル (試験の 75% でゼロショット生成より選択された) と共鳴する出力を生成したことを示しています。
複数形は、多元的 AI のパラダイムであると同時に具体的なシステムでもあります。
Plurals ライブラリは https://github.com/josh-ashkinaze/plurals で入手でき、継続的に更新されます。

要約(オリジナル)

Recent debates raised concerns that language models may favor certain viewpoints. But what if the solution is not to aim for a ‘view from nowhere’ but rather to leverage different viewpoints? We introduce Plurals, a system and Python library for pluralistic AI deliberation. Plurals consists of Agents (LLMs, optionally with personas) which deliberate within customizable Structures, with Moderators overseeing deliberation. Plurals is a generator of simulated social ensembles. Plurals integrates with government datasets to create nationally representative personas, includes deliberation templates inspired by deliberative democracy, and allows users to customize both information-sharing structures and deliberation behavior within Structures. Six case studies demonstrate fidelity to theoretical constructs and efficacy. Three randomized experiments show simulated focus groups produced output resonant with an online sample of the relevant audiences (chosen over zero-shot generation in 75% of trials). Plurals is both a paradigm and a concrete system for pluralistic AI. The Plurals library is available at https://github.com/josh-ashkinaze/plurals and will be continually updated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google