Equivariant Reinforcement Learning Frameworks for Quadrotor Low-Level Control

要約

サンプリング効率と一般化能力の改善は、本質的に不安定な四つ型無人航空機（UAV）のデータ駆動型制御を成功させるために重要です。
さまざまな強化学習（RL）アプローチが自律的な四肢装置飛行に適用されていますが、多くの場合、広範なトレーニングデータが必要であり、実際には複数の課題と安全リスクをもたらします。
これらの問題に対処するために、四肢制御のためのデータ効率が高く、等しいモノリシックおよびモジュラーRLフレームワークを提案します。
具体的には、四肢装置のダイナミクスにおける回転と反射の対称性を識別し、これらの対称性を等量ネットワークモデルにエンコードすることにより、状態行動空間での学習の冗長性を削除します。
このアプローチにより、1つの構成で学習した最適な制御アクションが、対称性を介して他の構成に自動的に一般化し、データ効率を高めることができます。
実験結果は、学習効率と飛行パフォーマンスの観点から、私たちの同等のアプローチが非等変量の対応物を大幅に上回ることを示しています。

要約(オリジナル)

Improving sampling efficiency and generalization capability is critical for the successful data-driven control of quadrotor unmanned aerial vehicles (UAVs) that are inherently unstable. While various reinforcement learning (RL) approaches have been applied to autonomous quadrotor flight, they often require extensive training data, posing multiple challenges and safety risks in practice. To address these issues, we propose data-efficient, equivariant monolithic and modular RL frameworks for quadrotor low-level control. Specifically, by identifying the rotational and reflectional symmetries in quadrotor dynamics and encoding these symmetries into equivariant network models, we remove redundancies of learning in the state-action space. This approach enables the optimal control action learned in one configuration to automatically generalize into other configurations via symmetry, thereby enhancing data efficiency. Experimental results demonstrate that our equivariant approaches significantly outperform their non-equivariant counterparts in terms of learning efficiency and flight performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google