Cooperative and Asynchronous Transformer-based Mission Planning for Heterogeneous Teams of Mobile Robots

要約

移動ロボットの異種チームの協力的なミッション計画には、特に通信の制約や限られた計算リソースの下で動作する場合に、特有の一連の課題が生じます。
これらの課題に対処するために、私たちは、マルチエージェント強化学習 (MARL) を活用して、さまざまなセンシング、動作、および作動機能を備えたエージェント間で分散意思決定を調整し、
散発的なアドホック通信。
クラスベースのマクロアクション分散型部分観察可能マルコフ意思決定プロセス (CMacDec-POMDP) も定式化され、異種エージェント チームの非同期意思決定を効果的にモデル化します。
このフレームワークは、マルチ エージェント トランスフォーマー (MAT) アーキテクチャに基づいて開発された非同期集中トレーニングおよび分散実行スキームを利用します。
この設計により、単一のトレーニング済みモデルを大規模な環境に一般化して、さまざまなチームのサイズや構成に対応できます。
2D グリッドワールド シミュレーション環境で CATMiP を評価し、そのパフォーマンスを計画ベースの探索手法と比較します。
結果は、CATMiP の優れた効率、スケーラビリティ、および通信ドロップアウトに対する堅牢性を実証し、現実世界の異種モバイル ロボット システムにおける可能性を強調しています。
コードは https://github.com/mylad13/CATMiP で入手できます。

要約(オリジナル)

Cooperative mission planning for heterogeneous teams of mobile robots presents a unique set of challenges, particularly when operating under communication constraints and limited computational resources. To address these challenges, we propose the Cooperative and Asynchronous Transformer-based Mission Planning (CATMiP) framework, which leverages multi-agent reinforcement learning (MARL) to coordinate distributed decision making among agents with diverse sensing, motion, and actuation capabilities, operating under sporadic ad hoc communication. A Class-based Macro-Action Decentralized Partially Observable Markov Decision Process (CMacDec-POMDP) is also formulated to effectively model asynchronous decision-making for heterogeneous teams of agents. The framework utilizes an asynchronous centralized training and distributed execution scheme that is developed based on the Multi-Agent Transformer (MAT) architecture. This design allows a single trained model to generalize to larger environments and accommodate varying team sizes and compositions. We evaluate CATMiP in a 2D grid-world simulation environment and compare its performance against planning-based exploration methods. Results demonstrate CATMiP’s superior efficiency, scalability, and robustness to communication dropouts, highlighting its potential for real-world heterogeneous mobile robot systems. The code is available at https://github.com/mylad13/CATMiP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google