UAV Pathfinding in Dynamic Obstacle Avoidance with Multi-agent Reinforcement Learning

要約

マルチエージェント強化学習ベースの手法は、動的で不確実なシナリオにおけるエージェントの実行可能で安全なパスをオンラインで計画するのに重要です。
完全集中型や完全分散型などの一部の方法はある程度の成功を収めていますが、それぞれ次元の爆発や収束の低下などの問題も発生します。
この論文では、動的障害物回避問題をオンラインで解決するために、マルチエージェント強化学習に基づく分散実行手法を備えた新しい集中トレーニングを提案します。
このアプローチでは、各エージェントは、それぞれ中央のプランナーとのみ、または近隣のプランナーとのみ通信して、実行可能で安全なパスをオンラインで計画します。
私たちは、モデル予測制御の考え方に基づいて手法を改善し、エージェントのトレーニング効率とサンプル利用率を高めます。
シミュレーション、屋内および屋外環境の両方での実験結果により、私たちの方法の有効性が検証されています。
ビデオは https://www.bilibili.com/video/BV1gw41197hV/?vd_source=9de61aecdd9fb684e546d032ef7fe7bf でご覧いただけます。

要約(オリジナル)

Multi-agent reinforcement learning based methods are significant for online planning of feasible and safe paths for agents in dynamic and uncertain scenarios. Although some methods like fully centralized and fully decentralized methods achieve a certain measure of success, they also encounter problems such as dimension explosion and poor convergence, respectively. In this paper, we propose a novel centralized training with decentralized execution method based on multi-agent reinforcement learning to solve the dynamic obstacle avoidance problem online. In this approach, each agent communicates only with the central planner or only with its neighbors, respectively, to plan feasible and safe paths online. We improve our methods based on the idea of model predictive control to increase the training efficiency and sample utilization of agents. The experimental results in both simulation, indoor, and outdoor environments validate the effectiveness of our method. The video is available at https://www.bilibili.com/video/BV1gw41197hV/?vd_source=9de61aecdd9fb684e546d032ef7fe7bf

arxiv情報

提供元, 利用サービス

arxiv.jp, Google