Dashing for the Golden Snitch: Multi-Drone Time-Optimal Motion Planning with Multi-Agent Reinforcement Learning

要約

自律的なドローンの最近の革新により、単一ドローン構成での時間最適飛行が促進され、最適な制御および学習ベースの方法を適用することにより、マルチドローンシステムでの操縦性が向上しました。
ただし、特に非常に機敏な操作や動的シナリオ中に、マルチドローンシステムの時間最適なモーション計画を達成した研究はほとんどありません。
このペーパーでは、時間最適なマルチドローン飛行のためのマルチエージェント補強学習を使用して、分散型ポリシーネットワークを提示します。
飛行効率と衝突回避のバランスをとるために、最適化ベースの方法に触発された柔らかい衝突のないメカニズムを導入します。
集中型トレーニング、分散型実行（CTDE）ファッションでPPOをカスタマイズすることにより、軽量の実装を確保しながら、トレーニングの効率と安定性を高めます。
広範なシミュレーションによると、単一ドローンシステムと比較してパフォーマンスのトレードオフがわずかにもかかわらず、マルチドローンアプローチは、衝突率が低いため、近距離のパフォーマンスを維持しています。
実世界の実験は、シミュレーションと同じネットワークを使用して、最大速度13.65 m/sと5.5 m * 5.5 m * 2.0 mスペースで13.4 rad/sの最大体速度を達成するのと同じネットワークを使用して、私たちの方法を検証します。

要約(オリジナル)

Recent innovations in autonomous drones have facilitated time-optimal flight in single-drone configurations, and enhanced maneuverability in multi-drone systems by applying optimal control and learning-based methods. However, few studies have achieved time-optimal motion planning for multi-drone systems, particularly during highly agile maneuvers or in dynamic scenarios. This paper presents a decentralized policy network using multi-agent reinforcement learning for time-optimal multi-drone flight. To strike a balance between flight efficiency and collision avoidance, we introduce a soft collision-free mechanism inspired by optimization-based methods. By customizing PPO in a centralized training, decentralized execution (CTDE) fashion, we unlock higher efficiency and stability in training while ensuring lightweight implementation. Extensive simulations show that, despite slight performance trade-offs compared to single-drone systems, our multi-drone approach maintains near-time-optimal performance with a low collision rate. Real-world experiments validate our method, with two quadrotors using the same network as in simulation achieving a maximum speed of 13.65 m/s and a maximum body rate of 13.4 rad/s in a 5.5 m * 5.5 m * 2.0 m space across various tracks, relying entirely on onboard computation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google