Dashing for the Golden Snitch: Multi-Drone Time-Optimal Motion Planning with Multi-Agent Reinforcement Learning

要約

自律型ドローンの最近の技術革新により、最適な制御と学習ベースの手法を適用することで、単一ドローン構成での最適な時間飛行が容易になり、複数ドローン システムでの操縦性が向上しました。
しかし、特に機敏性の高い操縦中や動的なシナリオにおいて、複数のドローン システムで時間的に最適な動作計画を達成した研究はほとんどありません。
この論文では、マルチエージェント強化学習を使用した最適な時間マルチドローン飛行のための分散型ポリシーネットワークを紹介します。
飛行効率と衝突回避のバランスをとるために、最適化ベースの手法にヒントを得たソフト衝突ペナルティを導入します。
集中トレーニング、分散実行 (CTDE) 方式で PPO をカスタマイズすることで、軽量の実装を確保しながら、トレーニングの効率と安定性を向上させます。
広範なシミュレーションの結果、単一ドローン システムと比較してわずかなパフォーマンスのトレードオフにもかかわらず、当社のマルチドローン アプローチは、低い衝突率でほぼ最適なパフォーマンスを維持できることがわかりました。
現実世界の実験では、シミュレーションと同じネットワークを使用する 2 つのクワッドローターで、さまざまなトラックにわたる 5.5 m * 5.5 m * 2.0 m の空間で最大速度 13.65 m/s と最大ボディレート 13.4 rad/s を達成して、私たちの方法が検証されました。
、完全にオンボードの計算に依存しています。

要約(オリジナル)

Recent innovations in autonomous drones have facilitated time-optimal flight in single-drone configurations and enhanced maneuverability in multi-drone systems through the application of optimal control and learning-based methods. However, few studies have achieved time-optimal motion planning for multi-drone systems, particularly during highly agile maneuvers or in dynamic scenarios. This paper presents a decentralized policy network for time-optimal multi-drone flight using multi-agent reinforcement learning. To strike a balance between flight efficiency and collision avoidance, we introduce a soft collision penalty inspired by optimization-based methods. By customizing PPO in a centralized training, decentralized execution (CTDE) fashion, we unlock higher efficiency and stability in training, while ensuring lightweight implementation. Extensive simulations show that, despite slight performance trade-offs compared to single-drone systems, our multi-drone approach maintains near-time-optimal performance with low collision rates. Real-world experiments validate our method, with two quadrotors using the same network as simulation achieving a maximum speed of 13.65 m/s and a maximum body rate of 13.4 rad/s in a 5.5 m * 5.5 m * 2.0 m space across various tracks, relying entirely on onboard computation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google