Value Kaleidoscope: Engaging AI with Pluralistic Human Values, Rights, and Duties

要約

人間の価値観は人間の意思決定にとって非常に重要です。
価値多元主義とは、複数の正しい価値観が互いに緊張関係にある可能性があるという見方です（たとえば、友人の感情を守るために嘘をつくことを考えるとき、正直さと友情のバランスをどうとるべきでしょうか？）。
AI システムは統計学習者として、デフォルトで平均値に適合し、これらの削減不可能な価値の矛盾を洗い流します。
価値の多元性をより適切に反映するように AI システムを改善するための最初の課題は、AI システムが多元的な人間の価値観、権利、義務、およびそれらの相互作用をどの程度モデル化できるかを調査することです。
31,000 人が書いた状況に関連する 21,8,000 の価値観、権利、義務の大規模データセットである ValuePrism を紹介します。
ValuePrism のコンテキスト化された値は GPT-4 によって生成され、人間のアノテーターによって 91% の確率で高品質であると見なされます。
私たちは、さまざまな社会的および人口統計的背景を持つアノテーターを対象に大規模な調査を実施し、誰の価値観が代表されているかを理解しようとします。
ValuePrism を使用して、私たちはオープンで軽量、構造化された言語ベースのマルチタスク モデルである Kaleido を構築します。これは、人間の価値観、権利、義務の関連性と価値 (つまり、支持または反対) を生成、説明、評価します。
特定のコンテキスト。
人間は、教師用 GPT-4 よりも私たちのシステムが出力する値のセットを好み、より正確でより広い範囲をカバーできると考えています。
さらに、Kaleido が対照的な値を出力することで、人間の意思決定のばらつきを説明するのに役立つことを示します。
最後に、カレイドの表現が他の哲学的枠組みやデータセットに移行することを示し、価値多元主義に対する明示的でモジュール型の解釈可能なアプローチの利点を確認します。
私たちは、私たちの取り組みが、人間の意思決定の背後にある暗黙の価値観をより明確にし、AI システムがその価値観に沿った意思決定を行えるように導くためのステップとして機能することを願っています。

要約(オリジナル)

Human values are crucial to human decision-making. Value pluralism is the view that multiple correct values may be held in tension with one another (e.g., when considering lying to a friend to protect their feelings, how does one balance honesty with friendship?). As statistical learners, AI systems fit to averages by default, washing out these potentially irreducible value conflicts. To improve AI systems to better reflect value pluralism, the first-order challenge is to explore the extent to which AI systems can model pluralistic human values, rights, and duties as well as their interaction. We introduce ValuePrism, a large-scale dataset of 218k values, rights, and duties connected to 31k human-written situations. ValuePrism’s contextualized values are generated by GPT-4 and deemed high-quality by human annotators 91% of the time. We conduct a large-scale study with annotators across diverse social and demographic backgrounds to try to understand whose values are represented. With ValuePrism, we build Kaleido, an open, light-weight, and structured language-based multi-task model that generates, explains, and assesses the relevance and valence (i.e., support or oppose) of human values, rights, and duties within a specific context. Humans prefer the sets of values output by our system over the teacher GPT-4, finding them more accurate and with broader coverage. In addition, we demonstrate that Kaleido can help explain variability in human decision-making by outputting contrasting values. Finally, we show that Kaleido’s representations transfer to other philosophical frameworks and datasets, confirming the benefit of an explicit, modular, and interpretable approach to value pluralism. We hope that our work will serve as a step to making more explicit the implicit values behind human decision-making and to steering AI systems to make decisions that are more in accordance with them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google