Multi-Agent Reinforcement Learning for the Low-Level Control of a Quadrotor UAV

要約

この論文では、クアッドローター UAV の低レベル制御のためのマルチエージェント強化学習フレームワークを紹介します。
シングルエージェント強化学習はクワローターへの適用に成功していますが、単一のモノリシック ネットワークのトレーニングは多くの場合データ集約的で時間がかかります。
これに対処するために、クワッドローター ダイナミクスを並進ダイナミクスとヨーイング ダイナミクスに分解し、強化学習エージェントを各部分に割り当てて、効率的なトレーニングとパフォーマンスの向上を実現します。
クアッドローターのダイナミクスの基礎となる構造を活用する、クアローターの低レベル制御用に提案されたマルチエージェント フレームワークは、独自の貢献です。
さらに、定常状態誤差を軽減し、積極的な制御入力を回避するために、正則化項を導入します。
sim-to-sim 転送によるベンチマーク研究を通じて、提案されたマルチエージェント強化学習により、トレーニングの収束率と制御されたダイナミクスの安定性が大幅に向上することが示されました。

要約(オリジナル)

This paper presents multi-agent reinforcement learning frameworks for the low-level control of a quadrotor UAV. While single-agent reinforcement learning has been successfully applied to quadrotors, training a single monolithic network is often data-intensive and time-consuming. To address this, we decompose the quadrotor dynamics into the translational dynamics and the yawing dynamics, and assign a reinforcement learning agent to each part for efficient training and performance improvements. The proposed multi-agent framework for quadrotor low-level control that leverages the underlying structures of the quadrotor dynamics is a unique contribution. Further, we introduce regularization terms to mitigate steady-state errors and to avoid aggressive control inputs. Through benchmark studies with sim-to-sim transfer, it is illustrated that the proposed multi-agent reinforcement learning substantially improves the convergence rate of the training and the stability of the controlled dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google