Optimizing UAV-UGV Coalition Operations: A Hybrid Clustering and Multi-Agent Reinforcement Learning Approach for Path Planning in Obstructed Environment

要約

無人航空機(UAV)と無人地上車両(UGV)の連合が行う最も重要なアプリケーションの1つは、衝突を避けながら最も時間効率の良い経路をたどって事前に定義された目標に到達することである。残念ながら、UAVは限られたバッテリー寿命に阻まれ、UGVは障害物や高低差による到達性の課題に直面しています。既存の文献では、主に1対1の連合に焦点が当てられており、ターゲットへの到達効率が制約されている。この研究では、車両数が可変のUAV-UGV連合のための新しいアプローチを紹介し、ターゲットを複数のゾーンにセグメント化するために修正された平均シフトクラスタリングアルゴリズムを採用する。各車両は、マルチエージェント深層決定論的政策勾配（MADDPG）とマルチエージェント近接政策最適化（MAPPO）という2つの高度な強化学習アルゴリズムを利用し、障害物環境を衝突することなく航行するための効果的な連合を形成する。密度と範囲に基づいてターゲットを様々な円形ゾーンに割り当てるこのアプローチは、ターゲットに到達するのに必要な時間を大幅に短縮する。さらに、連合内のUAVとUGVの数に可変性を導入することで、同時に複数のターゲットとの交戦を可能にし、タスク効率を向上させる。実験評価の結果、我々の提案手法は現在の最先端技術を大幅に凌駕し、ターゲット航行時間とタスク完了率において効率をほぼ倍増させることが実証された。

要約(オリジナル)

One of the most critical applications undertaken by coalitions of Unmanned Aerial Vehicles (UAVs) and Unmanned Ground Vehicles (UGVs) is reaching predefined targets by following the most time-efficient routes while avoiding collisions. Unfortunately, UAVs are hampered by limited battery life, and UGVs face challenges in reachability due to obstacles and elevation variations. Existing literature primarily focuses on one-to-one coalitions, which constrains the efficiency of reaching targets. In this work, we introduce a novel approach for a UAV-UGV coalition with a variable number of vehicles, employing a modified mean-shift clustering algorithm to segment targets into multiple zones. Each vehicle utilizes Multi-agent Deep Deterministic Policy Gradient (MADDPG) and Multi-agent Proximal Policy Optimization (MAPPO), two advanced reinforcement learning algorithms, to form an effective coalition for navigating obstructed environments without collisions. This approach of assigning targets to various circular zones, based on density and range, significantly reduces the time required to reach these targets. Moreover, introducing variability in the number of UAVs and UGVs in a coalition enhances task efficiency by enabling simultaneous multi-target engagement. The results of our experimental evaluation demonstrate that our proposed method substantially surpasses current state-of-the-art techniques, nearly doubling efficiency in terms of target navigation time and task completion rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL