Optimality Guarantees for Particle Belief Approximation of POMDPs

要約

部分的に観察可能なマルコフ決定プロセス (POMDP) は、現実世界の意思決定と制御の問題を柔軟に表現します。
ただし、POMDP は、特に状態空間と観測空間が連続的またはハイブリッドである場合 (物理システムではよくあることですが)、解決が難しいことで知られています。
観測尤度重み付けを使用して計画を立てる最近のオンライン サンプリング ベースの POMDP アルゴリズムは実用的な有効性を示していますが、これらのアルゴリズムが使用する粒子フィルタリング技術の近似誤差を特徴付ける一般理論はこれまで提案されていませんでした。
私たちの主な貢献は、POMDP とそれに対応する有限サンプル粒子信念 MDP (PB-MDP) 近似の間の誤差を制限することです。
PB-MDP と POMDP の間のこの基本的なブリッジにより、対応する粒子信念 MDP を解決することで、サンプリング ベースの MDP アルゴリズムを POMDP に適応させることができ、それによって MDP アルゴリズムの収束保証を POMDP まで拡張できます。
実際には、これは、MDP ソルバーの生成モデルとして粒子フィルター信念遷移モデルを使用することによって実装されます。
これには POMDP から観測密度モデルへのアクセスが必要ですが、MDP ソルバーの遷移サンプリングの複雑さが $\mathcal{O}(C)$ 倍増加するだけです ($C$ は粒子の数です)。
したがって、このアプローチをスパース サンプリング MDP アルゴリズムと組み合わせると、状態と観測空間のサイズに理論的に直接依存しない POMDP のアルゴリズムが得られます。
理論的貢献に加えて、ベンチマーク POMDP で 5 つの数値実験を実行し、PB-MDP 近似である Sparse-PFT を使用して適応させた単純な MDP アルゴリズムが、他の主要な連続観測 POMDP ソルバーと競合するパフォーマンスを達成することを実証しました。

要約(オリジナル)

Partially observable Markov decision processes (POMDPs) provide a flexible representation for real-world decision and control problems. However, POMDPs are notoriously difficult to solve, especially when the state and observation spaces are continuous or hybrid, which is often the case for physical systems. While recent online sampling-based POMDP algorithms that plan with observation likelihood weighting have shown practical effectiveness, a general theory characterizing the approximation error of the particle filtering techniques that these algorithms use has not previously been proposed. Our main contribution is bounding the error between any POMDP and its corresponding finite sample particle belief MDP (PB-MDP) approximation. This fundamental bridge between PB-MDPs and POMDPs allows us to adapt any sampling-based MDP algorithm to a POMDP by solving the corresponding particle belief MDP, thereby extending the convergence guarantees of the MDP algorithm to the POMDP. Practically, this is implemented by using the particle filter belief transition model as the generative model for the MDP solver. While this requires access to the observation density model from the POMDP, it only increases the transition sampling complexity of the MDP solver by a factor of $\mathcal{O}(C)$, where $C$ is the number of particles. Thus, when combined with sparse sampling MDP algorithms, this approach can yield algorithms for POMDPs that have no direct theoretical dependence on the size of the state and observation spaces. In addition to our theoretical contribution, we perform five numerical experiments on benchmark POMDPs to demonstrate that a simple MDP algorithm adapted using PB-MDP approximation, Sparse-PFT, achieves performance competitive with other leading continuous observation POMDP solvers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google