Amplifying Exploration in Monte-Carlo Tree Search by Focusing on the Unknown

要約

モンテカルロ木探索 (MCTS) は、膨大な量のアプリケーションを備えたいつでも効果的なアルゴリズムです。
計算リソースを戦略的に割り当てて、検索ツリーの有望なセグメントに焦点を当て、大規模な検索空間で非常に魅力的な検索アルゴリズムとなります。
ただし、以前に調査した地域が依然として最も有望な経路である場合、その地域の再評価に限られたリソースを費やすことがよくあります。
AmEx-MCTS と呼ばれる私たちが提案する方法論は、新しい MCTS 定式化を導入することでこの問題を解決します。
AmEx-MCTS の中心となるのは、値の更新、訪問数の更新、およびツリー検索中の選択されたパスの分離であり、これにより、すでに探索されたサブツリーまたはリーフの除外が可能になります。
この分離により、MCTS 内の探索と活用のバランスと品質指標の両方に対する訪問数の有用性が維持されます。
結果として得られる拡張により、MCTS の本質的な特性を維持しながら、同一の計算リソースを使用したかなり広範な検索が容易になります。
対象範囲の拡大により、より正確な推定が得られるだけでなく、より大規模で複雑な問題にも役立つことが証明されています。
私たちの経験的評価は、AmEx-MCTS の優れたパフォーマンスが実証されており、従来の MCTS および関連アプローチを大幅に上回っています。

要約(オリジナル)

Monte-Carlo tree search (MCTS) is an effective anytime algorithm with a vast amount of applications. It strategically allocates computational resources to focus on promising segments of the search tree, making it a very attractive search algorithm in large search spaces. However, it often expends its limited resources on reevaluating previously explored regions when they remain the most promising path. Our proposed methodology, denoted as AmEx-MCTS, solves this problem by introducing a novel MCTS formulation. Central to AmEx-MCTS is the decoupling of value updates, visit count updates, and the selected path during the tree search, thereby enabling the exclusion of already explored subtrees or leaves. This segregation preserves the utility of visit counts for both exploration-exploitation balancing and quality metrics within MCTS. The resultant augmentation facilitates in a considerably broader search using identical computational resources, preserving the essential characteristics of MCTS. The expanded coverage not only yields more precise estimations but also proves instrumental in larger and more complex problems. Our empirical evaluation demonstrates the superior performance of AmEx-MCTS, surpassing classical MCTS and related approaches by a substantial margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google