Combining Planning and Reinforcement Learning for Solving Relational Multiagent Domains

要約

マルチエージェント補強学習（MARL）は、状態および行動空間の指数関数的な成長と多剤環境の非定常性の性質により、大きな課題をもたらします。
これにより、顕著なサンプルの非効率性が発生し、多様なタスク全体の一般化が妨げられます。
複雑さは、ドメインの知識が重要であるが、既存のMarlアルゴリズムによって十分に活用されている関係設定でさらに顕著です。
これらのハードルを克服するために、リレーショナルプランナーを中央のコントローラーとして効率的な状態抽象化と強化学習を統合することを提案します。
このアプローチは、サンプル効率であることが証明され、効果的なタスク転送と一般化を促進します。

要約(オリジナル)

Multiagent Reinforcement Learning (MARL) poses significant challenges due to the exponential growth of state and action spaces and the non-stationary nature of multiagent environments. This results in notable sample inefficiency and hinders generalization across diverse tasks. The complexity is further pronounced in relational settings, where domain knowledge is crucial but often underutilized by existing MARL algorithms. To overcome these hurdles, we propose integrating relational planners as centralized controllers with efficient state abstractions and reinforcement learning. This approach proves to be sample-efficient and facilitates effective task transfer and generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google