Sim-to-Real Transfer in Reinforcement Learning for Maneuver Control of a Variable-Pitch MAV

要約

強化学習（RL）アルゴリズムは、無人航空機（MAV）で高操作性を高めることができますが、シミュレーションから実際の使用に転送することは困難です。
可変ピッチプロペラ（VPP）Mavsはより大きな俊敏性を提供しますが、それらの複雑なダイナミクスはSIMからリアルへの転送を複雑にします。
このペーパーでは、これらの課題を克服するための新しいRLフレームワークを紹介し、VPP MAVが実際の設定で高度な空中操作を実行できるようにします。
私たちのアプローチには、システム識別、ドメインランダム化、および堅牢なトレーニングシミュレーションを作成するためのカリキュラム学習など、現実からSIMからSIMへの転送手法、およびカスケードコントロールシステムと信頼できる展開のための高速応答の低レベルコントローラーを組み合わせたSIMから現実の転送戦略が含まれます。
結果は、ゼロショットの展開を達成する上でこのフレームワークの有効性を示しており、MAVがフリップやウォールバックトラッキングなどの複雑な操作を実行できるようにします。

要約(オリジナル)

Reinforcement learning (RL) algorithms can enable high-maneuverability in unmanned aerial vehicles (MAVs), but transferring them from simulation to real-world use is challenging. Variable-pitch propeller (VPP) MAVs offer greater agility, yet their complex dynamics complicate the sim-to-real transfer. This paper introduces a novel RL framework to overcome these challenges, enabling VPP MAVs to perform advanced aerial maneuvers in real-world settings. Our approach includes real-to-sim transfer techniques-such as system identification, domain randomization, and curriculum learning to create robust training simulations and a sim-to-real transfer strategy combining a cascade control system with a fast-response low-level controller for reliable deployment. Results demonstrate the effectiveness of this framework in achieving zero-shot deployment, enabling MAVs to perform complex maneuvers such as flips and wall-backtracking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google