Dual Agent Learning Based Aerial Trajectory Tracking

要約

この論文では、デュアルエージェント アーキテクチャを使用した、乱雑な環境における無人航空機の軌道追跡のための新しい強化学習フレームワークを紹介します。
軌道追跡のための従来の最適化方法は、重大な計算上の課題に直面しており、動的環境における堅牢性に欠けています。
私たちのアプローチでは、深層強化学習 (RL) を採用してこれらの制限を克服し、3D 点群データを活用して、占有グリッドのようなメモリを大量に消費する障害物の表現に依存せずに環境を認識します。
提案されたシステムは 2 つの RL エージェントを備えています。1 つは基準軌道に従う UAV 速度を予測するためのもので、もう 1 つは障害物の存在下での衝突回避を管理するためのものです。
このアーキテクチャにより、リアルタイムのパフォーマンスと不確実性への適応性が保証されます。
私たちは、最先端の RL および最適化ベースの手法に対する改善点を強調しながら、シミュレーションおよび現実世界の実験を通じてアプローチの有効性を実証します。
さらに、カリキュラム学習パラダイムを採用してアルゴリズムをより複雑な環境に拡張し、静的シナリオと動的シナリオの両方で堅牢な軌道追跡と障害物回避を保証します。

要約(オリジナル)

This paper presents a novel reinforcement learning framework for trajectory tracking of unmanned aerial vehicles in cluttered environments using a dual-agent architecture. Traditional optimization methods for trajectory tracking face significant computational challenges and lack robustness in dynamic environments. Our approach employs deep reinforcement learning (RL) to overcome these limitations, leveraging 3D pointcloud data to perceive the environment without relying on memory-intensive obstacle representations like occupancy grids. The proposed system features two RL agents: one for predicting UAV velocities to follow a reference trajectory and another for managing collision avoidance in the presence of obstacles. This architecture ensures real-time performance and adaptability to uncertainties. We demonstrate the efficacy of our approach through simulated and real-world experiments, highlighting improvements over state-of-the-art RL and optimization-based methods. Additionally, a curriculum learning paradigm is employed to scale the algorithms to more complex environments, ensuring robust trajectory tracking and obstacle avoidance in both static and dynamic scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google