Theory of Mind as Intrinsic Motivation for Multi-Agent Reinforcement Learning

要約

他者の精神状態をモデル化する能力は、人間の社会的知性にとって極めて重要であり、マルチエージェント設定で誘発される社会的ダイナミクスに関して、人工エージェントにも同様の利点を提供することができます。
私たちは、深いネットワークによってモデル化されたポリシー内で、意味的に意味があり、人間が解釈可能な信念を基礎付ける方法を紹介します。
次に、2 次の信念予測のタスクを検討します。
我々は、各エージェントが他のエージェントの信念を予測する能力を、マルチエージェント強化学習のための固有の報酬信号として使用できることを提案します。
最後に、協力と競争が混在する環境における予備的な実証結果を示します。

要約(オリジナル)

The ability to model the mental states of others is crucial to human social intelligence, and can offer similar benefits to artificial agents with respect to the social dynamics induced in multi-agent settings. We present a method of grounding semantically meaningful, human-interpretable beliefs within policies modeled by deep networks. We then consider the task of 2nd-order belief prediction. We propose that ability of each agent to predict the beliefs of the other agents can be used as an intrinsic reward signal for multi-agent reinforcement learning. Finally, we present preliminary empirical results in a mixed cooperative-competitive environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google