Data-Efficient Deep Reinforcement Learning for Attitude Control of Fixed-Wing UAVs: Field Experiments

要約

タイトル：フィールド実験のためのデータ効率の高い深層強化学習を用いた固定翼UAVの姿勢制御
要約：

– UAV（無人航空車）の固定翼の姿勢制御は、不確定な非線形ダイナミクス、アクチュエータの制限、および結合された縦横の運動のため制御問題が現れる。
– 現在の最先端の自動操縦システムは、線形制御に基づいており、従って有効性とパフォーマンスに制限がある。
– 深層強化学習（DRL）は、制御対象システムとの相互作用によって最適制御法を自動的に発見する機械学習方法であり、複雑な非線形ダイナミクスを扱うことができる。
– 本論文では、DRLを用いて固定翼UAVの姿勢制御を実現することができ、実際の非線形ダイナミクスに対して直接学習し、わずか3分の飛行データで実現できることを示した。
– まず、シミュレーション環境でモデルをトレーニングし、その後、実際のUAV上で展開し、オンライン学習を必要とせず、最先端のArduPlane比例積分微分（PID）姿勢コントローラと同等のパフォーマンスを実現した。
– また、適切なアクチュエータ遅延や多様化されたシミュレーションダイナミクスの学習が、現実のUAVの制御に成功するために重要であることがわかった。
– ArduPlaneオートパイロットとの定性的比較に加えて、線形解析に基づく定量的評価を行い、学習コントローラの振る舞いを理解するために発表した。

要約(オリジナル)

Attitude control of fixed-wing unmanned aerial vehicles (UAVs) is a difficult control problem in part due to uncertain nonlinear dynamics, actuator constraints, and coupled longitudinal and lateral motions. Current state-of-the-art autopilots are based on linear control and are thus limited in their effectiveness and performance. Deep reinforcement learning (DRL) is a machine learning method to automatically discover optimal control laws through interaction with the controlled system, which can handle complex nonlinear dynamics. We show in this paper that DRL can successfully learn to perform attitude control of a fixed-wing UAV operating directly on the original nonlinear dynamics, requiring as little as three minutes of flight data. We initially train our model in a simulation environment and then deploy the learned controller on the UAV in flight tests, demonstrating comparable performance to the state-of-the-art ArduPlane proportional-integral-derivative (PID) attitude controller with no further online learning required. Learning with significant actuation delay and diversified simulated dynamics were found to be crucial for successful transfer to control of the real UAV. In addition to a qualitative comparison with the ArduPlane autopilot, we present a quantitative assessment based on linear analysis to better understand the learning controller’s behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI