The Power of Input: Benchmarking Zero-Shot Sim-To-Real Transfer of Reinforcement Learning Control Policies for Quadrotor Control

要約

過去 10 年間、データ駆動型のアプローチは、未知または不確実な飛行条件への適応を容易にする能力のおかげで、クワッドローター制御の一般的な選択肢となりました。
さまざまなデータ駆動型パラダイムの中で、深層強化学習 (DRL) は現在最も研究されているパラダイムの 1 つです。
ただし、超小型航空機 (MAV) 用の DRL エージェントの設計は未解決の課題のままです。
いくつかの研究では、これらのエージェントの出力構成 (つまり、どのような種類の制御を計算するか) を研究していますが、これらのアプローチが採用すべき入力データのタイプについては一般的なコンセンサスはありません。
複数の作業は、DRL エージェントに完全な状態情報を提供するだけであり、これが冗長で学習プロセスを不必要に複雑にする可能性があるかどうか、または実際のプラットフォームでのそのような情報の利用可能性に余分な制約を課す可能性があるかどうかについて疑問を抱くことはありません。
この作業では、観察空間のさまざまな構成の詳細なベンチマーク分析を提供します。
私たちは、さまざまな入力を選択してシミュレートされた環境で複数の DRL エージェントを最適化し、その堅牢性とゼロショット適応によるシミュレーションからリアルへの転送機能を研究します。
私たちは、広範な実験結果によって裏付けられたこの研究で提示された結果と議論は、空中ロボットタスク用の DRL エージェントの開発に関する将来の研究を導く上で重要なマイルストーンとなる可能性があると信じています。

要約(オリジナル)

In the last decade, data-driven approaches have become popular choices for quadrotor control, thanks to their ability to facilitate the adaptation to unknown or uncertain flight conditions. Among the different data-driven paradigms, Deep Reinforcement Learning (DRL) is currently one of the most explored. However, the design of DRL agents for Micro Aerial Vehicles (MAVs) remains an open challenge. While some works have studied the output configuration of these agents (i.e., what kind of control to compute), there is no general consensus on the type of input data these approaches should employ. Multiple works simply provide the DRL agent with full state information, without questioning if this might be redundant and unnecessarily complicate the learning process, or pose superfluous constraints on the availability of such information in real platforms. In this work, we provide an in-depth benchmark analysis of different configurations of the observation space. We optimize multiple DRL agents in simulated environments with different input choices and study their robustness and their sim-to-real transfer capabilities with zero-shot adaptation. We believe that the outcomes and discussions presented in this work supported by extensive experimental results could be an important milestone in guiding future research on the development of DRL agents for aerial robot tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google