HDDLGym: A Tool for Studying Multi-Agent Hierarchical Problems Defined in HDDL with OpenAI Gym

要約

近年、Openai Gymのようなツールを使用してRehnection Learning（RL）方法が広くテストされていますが、これらの環境の多くのタスクも階層的計画の恩恵を受ける可能性があります。
ただし、階層計画をRLとシームレスに統合できるツールが不足しています。
古典的な計画で使用される階層ドメイン定義言語（HDDL）は、このギャップに対処するためにモデルベースのRLに適した構造化アプローチを導入します。
この統合をブリッジするために、HDDLドメインと問題からOpenAIジム環境を自動的に生成するPythonベースのツールであるHDDLGYMを導入します。
HDDLGYMは、RLと階層計画の間のリンクとして機能し、マルチエージェントシナリオをサポートし、エージェント間の共同計画を可能にします。
このペーパーでは、HDDLGYMの設計と実装の概要を説明し、HDDLをジムインターフェースと統合することに伴う課題と設計の選択を強調し、RLポリシーを適用して階層計画をサポートします。
また、HDDLGYMフレームワークを使用するための詳細な指示とデモンストレーションを提供します。これには、既存のHDDLドメインとの作業方法や、輸送ドメインによって例示される国際計画競技の問題などがあります。
さらに、マルチエージェントシナリオ用の新しいHDDLドメインの作成に関するガイダンスを提供し、加熱していないドメインでのHDDLGYMの実際の使用を実証します。
HDDLとジムの利点を活用することにより、HDDLGYMは、特にマルチエージェントのコンテキストで、階層計画でRLを研究するための貴重なツールになることを目指しています。

要約(オリジナル)

In recent years, reinforcement learning (RL) methods have been widely tested using tools like OpenAI Gym, though many tasks in these environments could also benefit from hierarchical planning. However, there is a lack of a tool that enables seamless integration of hierarchical planning with RL. Hierarchical Domain Definition Language (HDDL), used in classical planning, introduces a structured approach well-suited for model-based RL to address this gap. To bridge this integration, we introduce HDDLGym, a Python-based tool that automatically generates OpenAI Gym environments from HDDL domains and problems. HDDLGym serves as a link between RL and hierarchical planning, supporting multi-agent scenarios and enabling collaborative planning among agents. This paper provides an overview of HDDLGym’s design and implementation, highlighting the challenges and design choices involved in integrating HDDL with the Gym interface, and applying RL policies to support hierarchical planning. We also provide detailed instructions and demonstrations for using the HDDLGym framework, including how to work with existing HDDL domains and problems from International Planning Competitions, exemplified by the Transport domain. Additionally, we offer guidance on creating new HDDL domains for multi-agent scenarios and demonstrate the practical use of HDDLGym in the Overcooked domain. By leveraging the advantages of HDDL and Gym, HDDLGym aims to be a valuable tool for studying RL in hierarchical planning, particularly in multi-agent contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google