Multi-Robot Path Planning Combining Heuristics and Multi-Agent Reinforcement Learning

要約

動的環境におけるマルチロボットの経路探索は、非常に困難な古典的問題である。移動過程において、ロボットは移動距離を最小化しつつ、他の移動ロボットとの衝突を回避する必要がある。この問題に対するこれまでの手法は、衝突を回避するためにヒューリスティック探索法を用いて継続的に経路を再探索するか、学習アプローチに基づき適切な衝突回避戦略を選択する。前者は頻繁な再走行により移動距離が長くなる可能性があり、後者はサンプルの探索・利用が少ないため学習効率が低く、モデルの学習コストが高くなる可能性がある。これらの問題を解決するために、我々は、ヒューリスティック探索、経験則、マルチエージェント強化学習を組み合わせた経路計画手法MAPPOHRを提案する。本手法は、行動出力層と報酬関数に経験則を埋め込んだマルチエージェント強化学習アルゴリズムMAPPOに基づくリアルタイムプランナーと、グローバルな誘導経路を作成するために用いられるヒューリスティック探索プランナーの2層からなる。移動中、ヒューリスティック探索プランナーは、リアルタイムプランナーの指示に基づいて新しい経路を再探索する。我々は、10種類の衝突シナリオで本手法をテストした。実験の結果、MAPPOHRの計画性能は、既存の学習的・発見的手法よりも優れていることがわかった。経験的知識とヒューリスティック探索の利用により、MAPPOHRの学習効率は既存の学習方法より高い。

要約(オリジナル)

Multi-robot path finding in dynamic environments is a highly challenging classic problem. In the movement process, robots need to avoid collisions with other moving robots while minimizing their travel distance. Previous methods for this problem either continuously replan paths using heuristic search methods to avoid conflicts or choose appropriate collision avoidance strategies based on learning approaches. The former may result in long travel distances due to frequent replanning, while the latter may have low learning efficiency due to low sample exploration and utilization, and causing high training costs for the model. To address these issues, we propose a path planning method, MAPPOHR, which combines heuristic search, empirical rules, and multi-agent reinforcement learning. The method consists of two layers: a real-time planner based on the multi-agent reinforcement learning algorithm, MAPPO, which embeds empirical rules in the action output layer and reward functions, and a heuristic search planner used to create a global guiding path. During movement, the heuristic search planner replans new paths based on the instructions of the real-time planner. We tested our method in 10 different conflict scenarios. The experiments show that the planning performance of MAPPOHR is better than that of existing learning and heuristic methods. Due to the utilization of empirical knowledge and heuristic search, the learning efficiency of MAPPOHR is higher than that of existing learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL