Monte-Carlo Tree Search for Multi-Agent Pathfinding: Preliminary Results

要約

この研究では、マルチエージェント パスファインディングのよく知られた困難な問題を研究します。エージェントのセットがグラフに限定されている場合、各エージェントには一意の開始頂点とゴール頂点が割り当てられ、タスクは一連の衝突を見つけることです。
各エージェントがそれぞれの目標に到達するためのフリー パス (エージェントごとに 1 つ)。
この問題を解決するためにモンテカルロ木探索 (MCTS) を利用する方法を調査します。
MCTS は、敵対的なゲーム (囲碁、チェスなど) のプレイ、より高速な行列乗算アルゴリズムの発見など、幅広い問題で優れたパフォーマンスを実証することが示されていますが、目前の問題への MCTS の適用はこれまで十分に研究されていませんでした。
この目的を達成するために、マルチエージェント パスファインディングに合わせた MCTS のオリジナルのバリアントを導入します。
私たちのアプローチの核心は、MCTS を導く報酬がどのように計算されるかです。
具体的には、個別のパスを使用してエージェントの目標到達行動を支援し、衝突を避けるために必要な場合にはエージェントがトラックから外れる自由を残します。
また、専用の分解手法を使用して、ツリー検索手順の分岐係数を削減します。
経験的に、提案された方法がヒューリスティック検索を呼び出すベースライン計画アルゴリズムよりも優れていることがわかります。
A*、再計画の各ステップで。

要約(オリジナル)

In this work we study a well-known and challenging problem of Multi-agent Pathfinding, when a set of agents is confined to a graph, each agent is assigned a unique start and goal vertices and the task is to find a set of collision-free paths (one for each agent) such that each agent reaches its respective goal. We investigate how to utilize Monte-Carlo Tree Search (MCTS) to solve the problem. Although MCTS was shown to demonstrate superior performance in a wide range of problems like playing antagonistic games (e.g. Go, Chess etc.), discovering faster matrix multiplication algorithms etc., its application to the problem at hand was not well studied before. To this end we introduce an original variant of MCTS, tailored to multi-agent pathfinding. The crux of our approach is how the reward, that guides MCTS, is computed. Specifically, we use individual paths to assist the agents with the the goal-reaching behavior, while leaving them freedom to get off the track if it is needed to avoid collisions. We also use a dedicated decomposition technique to reduce the branching factor of the tree search procedure. Empirically we show that the suggested method outperforms the baseline planning algorithm that invokes heuristic search, e.g. A*, at each re-planning step.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google