Cooperative Open-ended Learning Framework for Zero-shot Coordination

要約

協調型人工知能（AI）におけるゼロショット協調は、依然として重要な課題であり、これは、目に見えない広範囲の相手と効果的に協調することを意味する。これまでのアルゴリズムでは、集団内の固定目標を最適化することで、戦略や行動の多様性を向上させることで、この課題に対処しようとしてきた。しかし、これらのアプローチでは、学習の損失や、集団内の特定の戦略との協調が不可能になることがあり、協調的不適合として知られています。この問題に対処するため、我々は、グラフ理論の観点から、2人のプレイヤーによる協力ゲームにおけるオープンエンド目標を構築し、各戦略の協力能力を評価・識別する、Cooperative Open-ended LEarning (COLE) フレームワークを提案します。さらに、このフレームワークを具体化し、ゲーム理論とグラフ理論の知識を活用した実用的なアルゴリズムを提案する。さらに、本アルゴリズムの学習過程を分析することで、効率的に協力的な非互換性を克服できることを示す。Overcookedゲーム環境での実験結果は、異なるレベルのパートナーとの協調において、我々の手法が現在の最先端手法を凌駕することを実証しています。我々のデモは https://sites.google.com/view/cole-2023 で公開されている。

要約(オリジナル)

Zero-shot coordination in cooperative artificial intelligence (AI) remains a significant challenge, which means effectively coordinating with a wide range of unseen partners. Previous algorithms have attempted to address this challenge by optimizing fixed objectives within a population to improve strategy or behaviour diversity. However, these approaches can result in a loss of learning and an inability to cooperate with certain strategies within the population, known as cooperative incompatibility. To address this issue, we propose the Cooperative Open-ended LEarning (COLE) framework, which constructs open-ended objectives in cooperative games with two players from the perspective of graph theory to assess and identify the cooperative ability of each strategy. We further specify the framework and propose a practical algorithm that leverages knowledge from game theory and graph theory. Furthermore, an analysis of the learning process of the algorithm shows that it can efficiently overcome cooperative incompatibility. The experimental results in the Overcooked game environment demonstrate that our method outperforms current state-of-the-art methods when coordinating with different-level partners. Our demo is available at https://sites.google.com/view/cole-2023.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL