Solving Stochastic Orienteering Problems with Chance Constraints Using Monte Carlo Tree Search

要約

我々は、偶然の制約を伴う確率的オリエンテーリング問題、つまり、旅費がランダムであり、予算を超える許容確率に限界が割り当てられる問題のバージョンを解決するための、新しいモンテカルロ木探索 (MCTS) アルゴリズムを提案します。
私たちが提示するアルゴリズムはオンラインでいつでも実行できます。つまり、計画と実行を交互に行い、許容される計算時間が増加するにつれて生成されるソリューションの品質が向上します。
以前のほとんどの MCTS アルゴリズムとは異なり、アルゴリズムは、状態で利用可能なアクションごとに、その値と、その実行が最終的に確率制約の違反を引き起こす確率の両方の推定値を維持します。
次に、アクションの選択時に、私たちが提案するソリューションは、失敗確率に違反すると推定される軌道を取り除きます。
広範なシミュレーション結果は、このアプローチが高品質のソリューションを迅速に生成でき、最適ではあるが時間のかかるソリューションと競合できることを示しています。

要約(オリジナル)

We present a new Monte Carlo Tree Search (MCTS) algorithm to solve the stochastic orienteering problem with chance constraints, i.e., a version of the problem where travel costs are random, and one is assigned a bound on the tolerable probability of exceeding the budget. The algorithm we present is online and anytime, i.e., it alternates planning and execution, and the quality of the solution it produces increases as the allowed computational time increases. Differently from most former MCTS algorithms, for each action available in a state the algorithm maintains estimates of both its value and the probability that its execution will eventually result in a violation of the chance constraint. Then, at action selection time, our proposed solution prunes away trajectories that are estimated to violate the failure probability. Extensive simulation results show that this approach can quickly produce high-quality solutions and is competitive with the optimal but time-consuming solution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google