Anytime Sequential Halving in Monte-Carlo Tree Search

要約

モンテカルロ ツリー検索 (MCTS) は通常、選択戦略として UCB1 などの累積後悔を最小限に抑えるように設計されたマルチアーム バンディット (MAB) 戦略を使用します。
ただし、検索ツリーのルート ノードでは、単純な後悔を最小限に抑える方が賢明です。
以前の研究では、理論的には、単純なリチャードに関してより優れたパフォーマンスを発揮するため、ルート ノードの選択戦略として Sequential Halving を使用することが提案されています。
ただし、Sequential Halving では反復の予算を事前に決定する必要があり、これは多くの場合非現実的です。
この論文では、Sequential Halving の動作に近似するように設計されており、任意の時点で停止でき、満足のいく結果を返すアルゴリズムの常時バージョンを提案します。
合成 MAB 問題と 10 種類のボード ゲームにおける実験結果は、このアルゴリズムのパフォーマンスが Sequential Halving および UCB1 (および MCTS におけるそれらの類似物) と競合できることを示しています。

要約(オリジナル)

Monte-Carlo Tree Search (MCTS) typically uses multi-armed bandit (MAB) strategies designed to minimize cumulative regret, such as UCB1, as its selection strategy. However, in the root node of the search tree, it is more sensible to minimize simple regret. Previous work has proposed using Sequential Halving as selection strategy in the root node, as, in theory, it performs better with respect to simple regret. However, Sequential Halving requires a budget of iterations to be predetermined, which is often impractical. This paper proposes an anytime version of the algorithm, which can be halted at any arbitrary time and still return a satisfactory result, while being designed such that it approximates the behavior of Sequential Halving. Empirical results in synthetic MAB problems and ten different board games demonstrate that the algorithm’s performance is competitive with Sequential Halving and UCB1 (and their analogues in MCTS).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google