Multi-Agent Reinforcement Learning for the Low-Level Control of a Quadrotor UAV

要約

クアローターダイナミクスの基礎となる構造を活用することで、独立したエージェントが共通の目標を達成するために協力して動作するクアローターの低レベル制御を革新するマルチエージェント強化学習フレームワークを提案します。
シングルエージェント強化学習はクアローター制御にうまく適用されていますが、大規模なモノリシック ネットワークのトレーニングは多くの場合データ集約的で時間がかかります。
さらに、クアッドローターのダイナミクスが強く結合しているため、機敏なヨーイング制御を実現することは依然として大きな課題です。
これに対処するために、クアッドローター ダイナミクスを並進コンポーネントとヨーイング コンポーネントに分解し、協調的な強化学習エージェントを各部分に割り当てて、より効率的なトレーニングを促進します。
さらに、定常状態誤差を軽減し、過剰な操作を防ぐために正則化項を導入します。
sim-to-sim転送検証を含むベンチマーク研究は、私たちが提案する訓練スキームが訓練の収束率を大幅に向上させ、同時に従来のシングルエージェントアプローチと比較して飛行制御のパフォーマンスと安定性を向上させることを実証しています。

要約(オリジナル)

By leveraging the underlying structures of the quadrotor dynamics, we propose multi-agent reinforcement learning frameworks to innovate the low-level control of a quadrotor, where independent agents operate cooperatively to achieve a common goal. While single-agent reinforcement learning has been successfully applied in quadrotor controls, training a large monolithic network is often data-intensive and time-consuming. Moreover, achieving agile yawing control remains a significant challenge due to the strongly coupled nature of the quadrotor dynamics. To address this, we decompose the quadrotor dynamics into translational and yawing components and assign collaborative reinforcement learning agents to each part to facilitate more efficient training. Additionally, we introduce regularization terms to mitigate steady-state errors and prevent excessive maneuvers. Benchmark studies, including sim-to-sim transfer verification, demonstrate that our proposed training schemes substantially improve the convergence rate of training, while enhancing flight control performance and stability compared to traditional single-agent approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google