Deep Reinforcement Learning based Autonomous Decision-Making for Cooperative UAVs: A Search and Rescue Real World Application

要約

このペーパーでは、グローバルナビゲーション衛星システム（GNSS）デニード屋内設定で動作するマルチドローンシステム間の自律的なガイダンス、ナビゲーション、およびタスク分布のための全体的な枠組みを提案します。
私たちは、双子の遅延深い決定論的政策勾配アルゴリズムを利用して、深い強化学習（DRL）ベースのガイダンスメカニズムを提唱しています。
トレーニングプロセスの効率を向上させるために、人工電位フィールド（APF）ベースの報酬構造を組み込み、エージェントがその動きを改良できるようにし、それにより、よりスムーズなパスと屋内コンテキストでの障害物回避を強化します。
さらに、DRL訓練を受けたグラフ畳み込みネットワーク（GCN）を介して、協同組合UAVのタスク分布の問題に取り組みます。
このGCNは、ドローンとタスクの間の相互作用を表し、現在の環境条件とドローンの機能を反映する動的およびリアルタイムのタスク割り当てを促進します。
このようなアプローチは、捜索救助およびその他の探索的努力中の複数のドローン間の効果的な調整とコラボレーションを促進します。
最後に、GNSSを欠く環境で正確な臭気測定を確保するために、廊下の問題を軽減するために、深さカメラによって補完された局所化とマッピングの範囲の光検出とマッピングを使用します。
この統合は、堅牢なローカリゼーションとマッピング機能を提供し、それにより屋内ナビゲーションのシステムの信頼性を高めます。
提案されているマルチドローンフレームワークは、個々のナビゲーション機能を高めるだけでなく、複雑で障害物を含んだ環境で調整されたタスク割り当てを最適化します。
NATO Sapience Autonomous Cooperative Drone Competitionの要件を満たすために調整されたセットアップで行われた実験的評価は、提案されたシステムの有効性を示し、2024年のSAPIENCEコンペティションで1位のフィニッシュで頂点に達します。

要約(オリジナル)

This paper proposes a holistic framework for autonomous guidance, navigation, and task distribution among multi-drone systems operating in Global Navigation Satellite System (GNSS)-denied indoor settings. We advocate for a Deep Reinforcement Learning (DRL)-based guidance mechanism, utilising the Twin Delayed Deep Deterministic Policy Gradient algorithm. To improve the efficiency of the training process, we incorporate an Artificial Potential Field (APF)-based reward structure, enabling the agent to refine its movements, thereby promoting smoother paths and enhanced obstacle avoidance in indoor contexts. Furthermore, we tackle the issue of task distribution among cooperative UAVs through a DRL-trained Graph Convolutional Network (GCN). This GCN represents the interactions between drones and tasks, facilitating dynamic and real-time task allocation that reflects the current environmental conditions and the capabilities of the drones. Such an approach fosters effective coordination and collaboration among multiple drones during search and rescue operations or other exploratory endeavours. Lastly, to ensure precise odometry in environments lacking GNSS, we employ Light Detection And Ranging Simultaneous Localisation and Mapping complemented by a depth camera to mitigate the hallway problem. This integration offers robust localisation and mapping functionalities, thereby enhancing the systems dependability in indoor navigation. The proposed multi-drone framework not only elevates individual navigation capabilities but also optimises coordinated task allocation in complex, obstacle-laden environments. Experimental evaluations conducted in a setup tailored to meet the requirements of the NATO Sapience Autonomous Cooperative Drone Competition demonstrate the efficacy of the proposed system, yielding outstanding results and culminating in a first-place finish in the 2024 Sapience competition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google