Efficient Domain Coverage for Vehicles with Second-Order Dynamics via Multi-Agent Reinforcement Learning

要約

指定されたエリアをカバーする協調自律マルチエージェント システムには、UAV の捜索救助、森林消防、リアルタイムの高解像度監視など、多くの潜在的な用途があります。
このようなカバレッジの問題に対する従来のアプローチには、センサー データに基づいたモデルベースの制御ポリシーの設計が含まれます。
ただし、モデルベースのコントローラーの設計は困難であり、最先端の古典的な制御ポリシーは依然として最適化されていない部分が多くあります。
この論文では、二次ダイナミクスを持つエージェントが関与するマルチエージェントの効率的なドメイン カバレージ問題に対する強化学習 (RL) アプローチを紹介します。
私たちのアプローチは、Multi-Agent Proximal Policy Optimization Algorithm (MAPPO) に基づいています。
私たちが提案するネットワーク アーキテクチャには、LSTM とセルフ アテンションが組み込まれており、これにより、トレーニングされたポリシーがさまざまな数のエージェントに適応できるようになります。
私たちの訓練されたポリシーは、最先端の従来の制御ポリシーを大幅に上回ります。
提案した手法をさまざまな模擬実験で実証します。

要約(オリジナル)

Collaborative autonomous multi-agent systems covering a specified area have many potential applications, such as UAV search and rescue, forest fire fighting, and real-time high-resolution monitoring. Traditional approaches for such coverage problems involve designing a model-based control policy based on sensor data. However, designing model-based controllers is challenging, and the state-of-the-art classical control policy still exhibits a large degree of sub-optimality. In this paper, we present a reinforcement learning (RL) approach for the multi-agent efficient domain coverage problem involving agents with second-order dynamics. Our approach is based on the Multi-Agent Proximal Policy Optimization Algorithm (MAPPO). Our proposed network architecture includes the incorporation of LSTM and self-attention, which allows the trained policy to adapt to a variable number of agents. Our trained policy significantly outperforms the state-of-the-art classical control policy. We demonstrate our proposed method in a variety of simulated experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google