Subgoal-based Hierarchical Reinforcement Learning for Multi-Agent Collaboration

要約

強化学習の最近の進歩は、さまざまな領域に大きな影響を与えていますが、複雑なマルチエージェント環境では、アルゴリズムの不安定性、サンプリング効率の低さ、探索と次元爆発の課題などの問題により、苦戦することがよくあります。
階層強化学習 (HRL) は、複雑なタスクをより単純なサブタスクに分解するための構造化されたアプローチを提供し、マルチエージェント設定に有望です。
この論文は、明示的な制約なしで効果的なサブ目標を自律的に生成する階層アーキテクチャを導入することでこの分野を前進させ、トレーニングの柔軟性と安定性の両方を強化します。
私たちは、環境の変化に基づいて適応する動的な目標生成戦略を提案します。
この方法により、学習プロセスの適応性とサンプル効率が大幅に向上します。
さらに、階層アーキテクチャと修正された QMIX ネットワークを相乗させることで、マルチエージェント システムにおけるクレジット割り当ての重要な問題に対処し、全体的な戦略の調整と効率を向上させます。
主流の強化学習アルゴリズムとの比較実験では、シングル エージェント環境とマルチ エージェント環境の両方で当社のアプローチの優れた収束速度とパフォーマンスが実証され、複雑なシナリオにおけるその有効性と柔軟性が確認されました。
私たちのコードは \url{https://github.com/SICC-Group/GMAH} でオープンソース化されています。

要約(オリジナル)

Recent advancements in reinforcement learning have made significant impacts across various domains, yet they often struggle in complex multi-agent environments due to issues like algorithm instability, low sampling efficiency, and the challenges of exploration and dimensionality explosion. Hierarchical reinforcement learning (HRL) offers a structured approach to decompose complex tasks into simpler sub-tasks, which is promising for multi-agent settings. This paper advances the field by introducing a hierarchical architecture that autonomously generates effective subgoals without explicit constraints, enhancing both flexibility and stability in training. We propose a dynamic goal generation strategy that adapts based on environmental changes. This method significantly improves the adaptability and sample efficiency of the learning process. Furthermore, we address the critical issue of credit assignment in multi-agent systems by synergizing our hierarchical architecture with a modified QMIX network, thus improving overall strategy coordination and efficiency. Comparative experiments with mainstream reinforcement learning algorithms demonstrate the superior convergence speed and performance of our approach in both single-agent and multi-agent environments, confirming its effectiveness and flexibility in complex scenarios. Our code is open-sourced at: \url{https://github.com/SICC-Group/GMAH}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google