Learning and Sustaining Shared Normative Systems via Bayesian Rule Induction in Markov Games

要約

人間社会の普遍的な特徴は、協力的な目的のためにルールと規範のシステムを採用することです。
同じようなことを行う学習エージェントを構築して、組み込まれた人間の組織と柔軟に連携できるようにするにはどうすればよいでしょうか?
私たちは、エージェントが、たとえ規範の正確な内容を知らなくても、個人の欲望を追求する際に他のほとんどの人が従う共通の一連の規範が存在すると仮定することで、これを達成できるのではないかと仮説を立てます。
共有された規範を仮定することにより、新しく導入されたエージェントは、準拠と違反の観察から既存の集団の規範を推測できます。
さらに、エージェントのグループは、たとえ最初は規範が何であるかについての信念が異なっていたとしても、共有された一連の規範に収束する可能性があります。
これにより、規範システムの安定性が可能になります。エージェントは規範に関する共通の知識をブートストラップできるため、規範が広く遵守されるようになり、新規参入者が規範を迅速に学習できるようになります。
我々は、マルコフ ゲームのコンテキストでこのフレームワークを形式化し、義務的規範と禁止的規範のほぼベイジアン ルール誘導を介して、マルチエージェント環境でのその動作を実証します。
私たちのアプローチを使用すると、エージェントはリソース管理規範や社会的労働に対する報酬などのさまざまな協力制度を迅速に学習して維持することができ、エージェントが自分の利益のために行動できるようにしながら、集団の福祉を促進します。

要約(オリジナル)

A universal feature of human societies is the adoption of systems of rules and norms in the service of cooperative ends. How can we build learning agents that do the same, so that they may flexibly cooperate with the human institutions they are embedded in? We hypothesize that agents can achieve this by assuming there exists a shared set of norms that most others comply with while pursuing their individual desires, even if they do not know the exact content of those norms. By assuming shared norms, a newly introduced agent can infer the norms of an existing population from observations of compliance and violation. Furthermore, groups of agents can converge to a shared set of norms, even if they initially diverge in their beliefs about what the norms are. This in turn enables the stability of the normative system: since agents can bootstrap common knowledge of the norms, this leads the norms to be widely adhered to, enabling new entrants to rapidly learn those norms. We formalize this framework in the context of Markov games and demonstrate its operation in a multi-agent environment via approximately Bayesian rule induction of obligative and prohibitive norms. Using our approach, agents are able to rapidly learn and sustain a variety of cooperative institutions, including resource management norms and compensation for pro-social labor, promoting collective welfare while still allowing agents to act in their own interests.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google