Monte Carlo Planning in Hybrid Belief POMDPs

要約

タイトル：混合信念POMDPにおけるMonte Carlo計画法

要約：
– 実世界の問題では、離散および連続的なランダム変数についての混合信念を推論する必要がある。しかし、このような状況は計画の文脈でほとんど調査されていない。
– 既存のオンライン部分観測マルコフ決定過程（POMDP）ソルバは、混合信念を直接サポートしていない。特に、これらのソルバは、計画の時間軸に沿って仮説の数が指数関数的に増加することによる追加の計算負荷に対応していない。
– この研究の一環として、私たちはHybrid Belief Monte Carlo Planning（HB-MCP）という新しいアルゴリズムを提示し、Monte Carlo Tree Search（MCTS）アルゴリズムを使用して混合信念を維持しながらPOMDPを解決します。
– 上限信頼性（UCB）の探索ボーナスを信念木と仮説木の成長の両方に案内する方法を説明し、多様な信念仮説をもたらす未解決のデータ関連性が生じる高度なエイリアスのシミュレートされた環境でアプローチを評価します。

要約(オリジナル)

Real-world problems often require reasoning about hybrid beliefs, over both discrete and continuous random variables. Yet, such a setting has hardly been investigated in the context of planning. Moreover, existing online Partially Observable Markov Decision Processes (POMDPs) solvers do not support hybrid beliefs directly. In particular, these solvers do not address the added computational burden due to an increasing number of hypotheses with the planning horizon, which can grow exponentially. As part of this work, we present a novel algorithm, Hybrid Belief Monte Carlo Planning (HB-MCP) that utilizes the Monte Carlo Tree Search (MCTS) algorithm to solve a POMDP while maintaining a hybrid belief. We illustrate how the upper confidence bound (UCB) exploration bonus can be leveraged to guide the growth of hypotheses trees alongside the belief trees. We then evaluate our approach in highly aliased simulated environments where unresolved data association leads to multi-modal belief hypotheses.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI