Improving Learnt Local MAPF Policies with Heuristic Search

要約

マルチエージェント経路探索 (MAPF) は、エージェントのチームが目標位置に到達するための衝突のない経路を見つける問題です。
最先端の古典的な MAPF ソルバーは通常、ヒューリスティック検索を使用して数百のエージェントのソリューションを見つけますが、通常は集中型であり、短いタイムアウトで実行すると拡張が困難になる可能性があります。
各エージェントのポリシーを学習する機械学習 (ML) アプローチは、分散システムを実現し、優れたソリューション品質を維持しながら適切に拡張できるため、魅力的です。
MAPF に対する現在の ML アプローチは、この可能性の表面をなぞり始めた方法を提案しています。
ただし、最先端の ML アプローチでは、単一のタイムステップのみを計画する「ローカル」ポリシーが生成され、成功率とスケーラビリティが低くなります。
私たちの主なアイデアは、出力確率分布にヒューリスティック検索手法を使用してデッドロックを解決し、フル ホライズン プランニングを可能にすることで、ML ローカル ポリシーを改善できるということです。
ポリシーの成功率とスケーラビリティを大幅に向上させる、学習されたポリシーでヒューリスティック検索を使用する、モデルに依存しないいくつかの方法を示します。
私たちの知る限りでは、ML ベースの MAPF アプローチが高輻輳シナリオ (例: エージェント密度 20%) に初めて対応したことを実証しました。

要約(オリジナル)

Multi-agent path finding (MAPF) is the problem of finding collision-free paths for a team of agents to reach their goal locations. State-of-the-art classical MAPF solvers typically employ heuristic search to find solutions for hundreds of agents but are typically centralized and can struggle to scale when run with short timeouts. Machine learning (ML) approaches that learn policies for each agent are appealing as these could enable decentralized systems and scale well while maintaining good solution quality. Current ML approaches to MAPF have proposed methods that have started to scratch the surface of this potential. However, state-of-the-art ML approaches produce ‘local’ policies that only plan for a single timestep and have poor success rates and scalability. Our main idea is that we can improve a ML local policy by using heuristic search methods on the output probability distribution to resolve deadlocks and enable full horizon planning. We show several model-agnostic ways to use heuristic search with learnt policies that significantly improve the policies’ success rates and scalability. To our best knowledge, we demonstrate the first time ML-based MAPF approaches have scaled to high congestion scenarios (e.g. 20% agent density).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google