Multi-UAV Pursuit-Evasion with Online Planning in Unknown Environments by Deep Reinforcement Learning

要約

追跡者が回避者の捕獲を目指す複数の UAV の追跡回避は、UAV の群れインテリジェンスにとって重要な課題となります。
マルチエージェント強化学習 (MARL) は、協調動作のモデル化における可能性を実証していますが、ほとんどの RL ベースのアプローチは、制限されたダイナミクスまたは固定シナリオによる単純化されたシミュレーションに依然として制約されています。
RL ポリシーを現実世界の追跡回避に展開するこれまでの試みは、固定高度の地上車両や UAV などの 2 次元シナリオに主に限定されていました。
この論文では、UAV のダイナミクスと物理的制約を考慮して、複数の UAV の追跡回避に取り組みます。
協調戦略学習における部分可観測性に取り組むために、回避者予測強化ネットワークを導入します。
さらに、MARL トレーニング内で適応環境ジェネレーターを提案し、さまざまなシナリオにわたってより高い探査効率とより優れたポリシーの一般化を可能にします。
シミュレーションによると、私たちの手法は困難なシナリオですべてのベースラインを大幅に上回り、未曾有のシナリオに一般化して 100\% のキャプチャ率を実現します。
最後に、2 段階の報酬調整を通じて実現可能なポリシーを導き出し、そのポリシーをゼロショット方式で実際のクアッドローターに展開します。
私たちの知る限り、これは、未知の環境における複数の UAV の追跡回避のための集団推力と機体速度制御コマンドを使用した RL ベースのポリシーを導出し、展開する最初の研究です。
オープンソース コードとビデオは https://sites.google.com/view/pursuit-evasion-rl で入手できます。

要約(オリジナル)

Multi-UAV pursuit-evasion, where pursuers aim to capture evaders, poses a key challenge for UAV swarm intelligence. Multi-agent reinforcement learning (MARL) has demonstrated potential in modeling cooperative behaviors, but most RL-based approaches remain constrained to simplified simulations with limited dynamics or fixed scenarios. Previous attempts to deploy RL policy to real-world pursuit-evasion are largely restricted to two-dimensional scenarios, such as ground vehicles or UAVs at fixed altitudes. In this paper, we address multi-UAV pursuit-evasion by considering UAV dynamics and physical constraints. We introduce an evader prediction-enhanced network to tackle partial observability in cooperative strategy learning. Additionally, we propose an adaptive environment generator within MARL training, enabling higher exploration efficiency and better policy generalization across diverse scenarios. Simulations show our method significantly outperforms all baselines in challenging scenarios, generalizing to unseen scenarios with a 100\% capture rate. Finally, we derive a feasible policy via a two-stage reward refinement and deploy the policy on real quadrotors in a zero-shot manner. To our knowledge, this is the first work to derive and deploy an RL-based policy using collective thrust and body rates control commands for multi-UAV pursuit-evasion in unknown environments. The open-source code and videos are available at https://sites.google.com/view/pursuit-evasion-rl.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google