Parallel Distributional Prioritized Deep Reinforcement Learning for Unmanned Aerial Vehicles

要約

本研究では、UAVの地図なしナビゲーションに適用される並列分散型深層強化学習に関する研究を紹介する。このために、我々はソフトアクタークリティック法に基づくアプローチを開発し、PDSACと名付けた分散・分布型変種を作成し、従来のSACアルゴリズムに基づく第2のものと比較した。さらに、PDSACには優先順位記憶システムも組み込んだ。本研究で使用したUAVは、空中のみで動作するハイブリッドクアドローターであるHydroneビークルをベースとしている。このシステムの入力は、ライダーセンサーからの23の測距結果と、希望するゴールまでの距離と角度であり、出力は直線速度、角度速度、高度速度である。この手法は、障害物のない環境から3次元の複数の障害物がある環境まで、様々な複雑さの環境で訓練された。得られた結果は、同じ訓練ステップ数で、SACに基づくエージェントと比較した場合、提案手法によるナビゲーション能力の簡潔な向上を示している。要約すると、本研究は、3次元におけるドローンの地図なしナビゲーションに適用された深層強化学習に関する研究を提示し、有望な結果と、分散型および分布型の変種を持つロボット工学および自律的航空ナビゲーションに関連する様々な文脈における潜在的な応用を示した。

要約(オリジナル)

This work presents a study on parallel and distributional deep reinforcement learning applied to the mapless navigation of UAVs. For this, we developed an approach based on the Soft Actor-Critic method, producing a distributed and distributional variant named PDSAC, and compared it with a second one based on the traditional SAC algorithm. In addition, we also embodied a prioritized memory system into them. The UAV used in the study is based on the Hydrone vehicle, a hybrid quadrotor operating solely in the air. The inputs for the system are 23 range findings from a Lidar sensor and the distance and angles towards a desired goal, while the outputs consist of the linear, angular, and, altitude velocities. The methods were trained in environments of varying complexity, from obstacle-free environments to environments with multiple obstacles in three dimensions. The results obtained, demonstrate a concise improvement in the navigation capabilities by the proposed approach when compared to the agent based on the SAC for the same amount of training steps. In summary, this work presented a study on deep reinforcement learning applied to mapless navigation of drones in three dimensions, with promising results and potential applications in various contexts related to robotics and autonomous air navigation with distributed and distributional variants.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL