AirPilot: Interpretable PPO-based DRL Auto-Tuned Nonlinear PID Drone Controller for Robust Autonomous Flights

要約

無人航空機（UAV）を安全に飛行させ、ダイナミックな環境下で効果的な飛行ミッションを遂行するためには、ナビゲーションの精度、速度、安定性が極めて重要です。飛行ミッションによって、エネルギー消費の最小化、正確な位置決め、速度の最大化など、目的はさまざまです。さまざまな目的に即座に適応できるコントローラは非常に価値があります。比例積分微分（PID）コントローラは、ドローンやその他の制御システムに最も一般的で広く使用されている制御アルゴリズムの1つですが、その線形制御アルゴリズムでは、動的な風条件や複雑なドローンシステムの非線形性を捉えることができません。様々なミッションに対してPIDゲインを手動で調整することは、時間がかかり、かなりの専門知識を必要とする。本論文は、非線形深層強化学習（Deep Reinforcement Learning：DRL）により強化された比例積分微分（Proportional Integral Derivative：PID）ドローンコントローラであるAirPilotを紹介することで、ドローンの飛行制御に革命を起こすことを目的とし、Proximal Policy Optimization（PPO）を使用する。AirPilotコントローラーは、従来のPID制御のシンプルさと有効性に、DRLの適応性、学習能力、最適化の可能性を組み合わせたものです。このため、環境がダイナミックで、ミッション固有の性能要求が高い最新のドローン用途に適しています。シミュレータ内でDRLエージェントをトレーニングするためにCOEX Clover自律型ドローンを採用し、実際のラボ環境で実装しました。これは、DRLベースのフライトコントローラーを実際のドローンに適用する最初の試みの1つとして重要なマイルストーンとなります。Airpilotは、デフォルトのPX4 PIDポジションコントローラーの航行誤差を90%削減し、微調整されたPIDコントローラーの実効航行速度を21%向上させ、整定時間とオーバーシュートをそれぞれ17%と16%削減することができます。

要約(オリジナル)

Navigation precision, speed and stability are crucial for safe Unmanned Aerial Vehicle (UAV) flight maneuvers and effective flight mission executions in dynamic environments. Different flight missions may have varying objectives, such as minimizing energy consumption, achieving precise positioning, or maximizing speed. A controller that can adapt to different objectives on the fly is highly valuable. Proportional Integral Derivative (PID) controllers are one of the most popular and widely used control algorithms for drones and other control systems, but their linear control algorithm fails to capture the nonlinear nature of the dynamic wind conditions and complex drone system. Manually tuning the PID gains for various missions can be time-consuming and requires significant expertise. This paper aims to revolutionize drone flight control by presenting the AirPilot, a nonlinear Deep Reinforcement Learning (DRL) – enhanced Proportional Integral Derivative (PID) drone controller using Proximal Policy Optimization (PPO). AirPilot controller combines the simplicity and effectiveness of traditional PID control with the adaptability, learning capability, and optimization potential of DRL. This makes it better suited for modern drone applications where the environment is dynamic, and mission-specific performance demands are high. We employed a COEX Clover autonomous drone for training the DRL agent within the simulator and implemented it in a real-world lab setting, which marks a significant milestone as one of the first attempts to apply a DRL-based flight controller on an actual drone. Airpilot is capable of reducing the navigation error of the default PX4 PID position controller by 90%, improving effective navigation speed of a fine-tuned PID controller by 21%, reducing settling time and overshoot by 17% and 16% respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL