Cooperative Open-ended Learning Framework for Zero-shot Coordination

要約

協調型人工知能 (AI) におけるゼロショット調整は依然として大きな課題であり、これは目に見えない広範囲のパートナーと効果的に調整することを意味します。
これまでのアルゴリズムは、集団内の固定目標を最適化して戦略や行動の多様性を改善することで、この課題に対処しようと試みてきました。
ただし、これらのアプローチは学習の損失をもたらし、集団内で特定の戦略に協力できなくなる可能性があります。これは、協力的非互換性として知られています。
この問題に対処するために、我々は、グラフ理論の観点から 2 人のプレーヤーとの協力ゲームでオープンエンドの目標を構築し、各戦略の協力能力を評価および特定する、協力オープンエンド学習 (COLE) フレームワークを提案します。
さらにフレームワークを特定し、ゲーム理論とグラフ理論の知識を活用した実用的なアルゴリズムを提案します。
さらに、アルゴリズムの学習プロセスの分析により、アルゴリズムが協調的な非互換性を効率的に克服できることが示されています。
Overcooked ゲーム環境での実験結果は、さまざまなレベルのパートナーと連携する場合、私たちの方法が現在の最先端の方法よりも優れていることを示しています。
デモは https://sites.google.com/view/cole-2023 でご覧いただけます。

要約(オリジナル)

Zero-shot coordination in cooperative artificial intelligence (AI) remains a significant challenge, which means effectively coordinating with a wide range of unseen partners. Previous algorithms have attempted to address this challenge by optimizing fixed objectives within a population to improve strategy or behaviour diversity. However, these approaches can result in a loss of learning and an inability to cooperate with certain strategies within the population, known as cooperative incompatibility. To address this issue, we propose the Cooperative Open-ended LEarning (COLE) framework, which constructs open-ended objectives in cooperative games with two players from the perspective of graph theory to assess and identify the cooperative ability of each strategy. We further specify the framework and propose a practical algorithm that leverages knowledge from game theory and graph theory. Furthermore, an analysis of the learning process of the algorithm shows that it can efficiently overcome cooperative incompatibility. The experimental results in the Overcooked game environment demonstrate that our method outperforms current state-of-the-art methods when coordinating with different-level partners. Our demo is available at https://sites.google.com/view/cole-2023.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google