Modeling Moral Choices in Social Dilemmas with Multi-Agent Reinforcement Learning

要約

現実世界での人工知能 (AI) の実用化により、知的エージェントに道徳的選択を組み込むことの重要性が実証されています。
彼らはまた、何らかの道徳に従って AI に対するトップダウンの倫理的制約を定義することは非常に困難であり、リスクを引き起こす可能性があることも強調しました。
AI エージェントの倫理的行動を研究し開発するには、ボトムアップ学習アプローチの方が適切である可能性があります。
特に、社会的ジレンマにおいてあらかじめ定義された一連の道徳的報酬に従って行動する強化学習 (RL) エージェントの創発的な行動の分析が、興味深く洞察に満ちた出発点になると考えています。
この研究では、報酬が道徳理論に基づいている内発的に動機付けられた RL エージェントによって行われた選択の体系的な分析を示します。
私たちは、簡素化されながらも一連の主要な倫理システムを代表する報酬構造を設計することを目指しています。
したがって、我々は最初に、結果ベースのエージェントと規範ベースのエージェントの間、社会規範または内部の美徳に基づく道徳の間、および単一の美徳と混合美徳（例えば、多目的）方法論を区別する道徳的報酬関数を定義します。
次に、3 つの反復的な社会的ジレンマ ゲーム (囚人のジレンマ、ボランティアのジレンマ、およびスタッグハント) で学習道徳エージェント間で繰り返される二項相互作用をモデル化することで、アプローチを評価します。
私たちは、協力、離反、搾取の出現に対するさまざまな種類の道徳の影響と、それに対応する社会的結果を分析します。
最後に、これらの発見が人工社会および人間と AI の混合社会における道徳エージェントの開発に与える影響について議論します。

要約(オリジナル)

Practical uses of Artificial Intelligence (AI) in the real world have demonstrated the importance of embedding moral choices into intelligent agents. They have also highlighted that defining top-down ethical constraints on AI according to any one type of morality is extremely challenging and can pose risks. A bottom-up learning approach may be more appropriate for studying and developing ethical behavior in AI agents. In particular, we believe that an interesting and insightful starting point is the analysis of emergent behavior of Reinforcement Learning (RL) agents that act according to a predefined set of moral rewards in social dilemmas. In this work, we present a systematic analysis of the choices made by intrinsically-motivated RL agents whose rewards are based on moral theories. We aim to design reward structures that are simplified yet representative of a set of key ethical systems. Therefore, we first define moral reward functions that distinguish between consequence- and norm-based agents, between morality based on societal norms or internal virtues, and between single- and mixed-virtue (e.g., multi-objective) methodologies. Then, we evaluate our approach by modeling repeated dyadic interactions between learning moral agents in three iterated social dilemma games (Prisoner’s Dilemma, Volunteer’s Dilemma and Stag Hunt). We analyze the impact of different types of morality on the emergence of cooperation, defection or exploitation, and the corresponding social outcomes. Finally, we discuss the implications of these findings for the development of moral agents in artificial and mixed human-AI societies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google