Collaborative Target Search with a Visual Drone Swarm: An Adaptive Curriculum Embedded Multistage Reinforcement Learning Approach

要約

ドローンに目標探索機能を装備することは、災害救助やスマート倉庫配送システムの用途にとって非常に望ましいことです。
相互に連携して障害物の間を移動できる複数のインテリジェントドローンは、より短時間でタスクを達成する上でより効果的です。
ただし、事前のターゲット情報なしで協調ターゲット検索 (CTS) を実行することは、特に視覚的なドローンの群れの場合、非常に困難です。
この研究では、これらの課題、主に限られた視覚認識と協調行動要件を伴う 3 次元の疎な報酬空間探索に対処するために、適応カリキュラム組み込み多段階学習 (ACEMSL) と呼ばれる新しいデータ効率の高い深層強化学習 (DRL) アプローチを提案します。
具体的には、CTS タスクを個別の障害物回避、ターゲット探索、エージェント間のコラボレーションなどのいくつかのサブタスクに分解し、多段階学習でエージェントを段階的にトレーニングします。
一方、適応型埋め込みカリキュラム (AEC) が設計されており、トレーニングで達成された成功率 (SR) に基づいてタスクの難易度 (TDL) を適応的に調整できます。
ACEMSL を使用すると、視覚的なドローンの群れに対するデータ効率の高いトレーニングと個々のチームへの報酬の割り当てが可能になります。
さらに、トレーニング済みモデルを実際のビジュアルドローン群に展開し、微調整せずに CTS 操作を実行します。
広範なシミュレーションと現実世界での飛行テストにより、ACEMSL の有効性と一般化可能性が検証されます。
プロジェクトは https://github.com/NTU-UAVG/CTS-visual-drone-swarm.git で入手できます。

要約(オリジナル)

Equipping drones with target search capabilities is highly desirable for applications in disaster rescue and smart warehouse delivery systems. Multiple intelligent drones that can collaborate with each other and maneuver among obstacles show more effectiveness in accomplishing tasks in a shorter amount of time. However, carrying out collaborative target search (CTS) without prior target information is extremely challenging, especially with a visual drone swarm. In this work, we propose a novel data-efficient deep reinforcement learning (DRL) approach called adaptive curriculum embedded multistage learning (ACEMSL) to address these challenges, mainly 3-D sparse reward space exploration with limited visual perception and collaborative behavior requirements. Specifically, we decompose the CTS task into several subtasks including individual obstacle avoidance, target search, and inter-agent collaboration, and progressively train the agents with multistage learning. Meanwhile, an adaptive embedded curriculum (AEC) is designed, where the task difficulty level (TDL) can be adaptively adjusted based on the success rate (SR) achieved in training. ACEMSL allows data-efficient training and individual-team reward allocation for the visual drone swarm. Furthermore, we deploy the trained model over a real visual drone swarm and perform CTS operations without fine-tuning. Extensive simulations and real-world flight tests validate the effectiveness and generalizability of ACEMSL. The project is available at https://github.com/NTU-UAVG/CTS-visual-drone-swarm.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google