Efficient Domain Coverage for Vehicles with Second-Order Dynamics via Multi-Agent Reinforcement Learning

要約

指定された領域をカバーする協調的な自律型マルチエージェントシステムは、UAVによる捜索・救助、森林火災の消火、リアルタイムの高解像度モニタリングなど、多くの応用が期待されています。このようなカバレージ問題に対する従来のアプローチでは、センサーデータに基づいてモデルベースの制御方針を設計する。しかし、モデルベースコントローラの設計は困難であり、最先端の古典的な制御方針は、依然として大きな準最適性を示している。本論文では、2次ダイナミクスを持つエージェントを含むマルチエージェント効率的ドメインカバレッジ問題に対する強化学習（RL）アプローチを紹介する。我々のアプローチは、マルチエージェント近接政策最適化アルゴリズム（MAPPO）をベースにしている。我々の提案するネットワークアーキテクチャは、LSTMと自己注意を取り入れることで、学習済みポリシーが可変のエージェント数に適応することを可能にする。我々の学習したポリシーは、最先端の古典的な制御ポリシーを大幅に上回る。我々は、様々な模擬実験において、提案手法を実証する。

要約(オリジナル)

Collaborative autonomous multi-agent systems covering a specified area have many potential applications, such as UAV search and rescue, forest fire fighting, and real-time high-resolution monitoring. Traditional approaches for such coverage problems involve designing a model-based control policy based on sensor data. However, designing model-based controllers is challenging, and the state-of-the-art classical control policy still exhibits a large degree of sub-optimality. In this paper, we present a reinforcement learning (RL) approach for the multi-agent efficient domain coverage problem involving agents with second-order dynamics. Our approach is based on the Multi-Agent Proximal Policy Optimization Algorithm (MAPPO). Our proposed network architecture includes the incorporation of LSTM and self-attention, which allows the trained policy to adapt to a variable number of agents. Our trained policy significantly outperforms the state-of-the-art classical control policy. We demonstrate our proposed method in a variety of simulated experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL