Learning in Multi-Objective Public Goods Games with Non-Linear Utilities

要約

リスクと不確実性の下でどのように最適な意思決定を行うかという問題に取り組むことは、人間と協力したり、人間を支援したりする人工エージェントの能力を高める上で極めて重要である。本研究では、公共財ゲームの文脈でこの問題に取り組む。我々は、エージェントが異なるリスク選好を持つ新しい多目的版の公共財ゲームにおける学習を、多目的強化学習によって研究する。我々は、パラメトリックな非線形の効用関数を導入し、個々のエージェントのレベルにおいて、ゲームの集団的報酬成分と個人的報酬成分に対するリスク選好をモデル化する。我々は、このような選好モデリングと、ゲームのインセンティブ調整レベルにおける環境の不確実性との相互作用を研究する。個人の選好と環境の不確実性の異なる組み合わせが、非協力的な環境（すなわち、競争戦略が支配的な環境）において、どのように協力的なパターンの出現を維持するのか、また、他の組み合わせが、協力的な環境（すなわち、協力戦略が支配的な環境）において、どのように競争的なパターンの出現を維持するのかを示す。

要約(オリジナル)

Addressing the question of how to achieve optimal decision-making under risk and uncertainty is crucial for enhancing the capabilities of artificial agents that collaborate with or support humans. In this work, we address this question in the context of Public Goods Games. We study learning in a novel multi-objective version of the Public Goods Game where agents have different risk preferences, by means of multi-objective reinforcement learning. We introduce a parametric non-linear utility function to model risk preferences at the level of individual agents, over the collective and individual reward components of the game. We study the interplay between such preference modelling and environmental uncertainty on the incentive alignment level in the game. We demonstrate how different combinations of individual preferences and environmental uncertainties sustain the emergence of cooperative patterns in non-cooperative environments (i.e., where competitive strategies are dominant), while others sustain competitive patterns in cooperative environments (i.e., where cooperative strategies are dominant).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL