Observation Adaptation via Annealed Importance Resampling for Partially Observable Markov Decision Processes

要約

部分的に観察可能なマルコフ決定プロセス（POMDP）は、状態の不確実性の下で確率的環境での連続的な意思決定のための一般的な数学モデルです。
POMDPはしばしば\ textit {オンライン}を解決します。これにより、アルゴリズムはリアルタイムで新しい情報に適応できます。
オンラインソルバーは通常、信念分布を更新するための重要性の再サンプリングに基づいて、ブートストラップ粒子フィルターを使用します。
最新の観測と以前の状態が実行不可能であることを考慮して、理想的な状態分布から直接サンプリングするため、粒子フィルターは、予測と再サンプリングのステップを通じて、状態を伝播し、重みを調整することにより、後方の信念分布に近似します。
ただし、実際には、特に受信した観察が非常に有益である場合、状態遷移モデルが後部の信念分布と不十分に整合している場合、再サンプリング技術の重要性は粒子の変性とサンプルの貧困につながります。
私たちは、オンラインPOMDPソルバーでの騒々しい観測をより適切に収容するために、反復的なモンテカルロステップを介して、状態移動と最適な分布の間に一連の橋分布を構築するアプローチを提案します。
私たちのアルゴリズムは、複数の挑戦的なPOMDPドメインで評価された場合、最先端の方法と比較して、有意に優れたパフォーマンスを実証します。

要約(オリジナル)

Partially observable Markov decision processes (POMDPs) are a general mathematical model for sequential decision-making in stochastic environments under state uncertainty. POMDPs are often solved \textit{online}, which enables the algorithm to adapt to new information in real time. Online solvers typically use bootstrap particle filters based on importance resampling for updating the belief distribution. Since directly sampling from the ideal state distribution given the latest observation and previous state is infeasible, particle filters approximate the posterior belief distribution by propagating states and adjusting weights through prediction and resampling steps. However, in practice, the importance resampling technique often leads to particle degeneracy and sample impoverishment when the state transition model poorly aligns with the posterior belief distribution, especially when the received observation is highly informative. We propose an approach that constructs a sequence of bridge distributions between the state-transition and optimal distributions through iterative Monte Carlo steps, better accommodating noisy observations in online POMDP solvers. Our algorithm demonstrates significantly superior performance compared to state-of-the-art methods when evaluated across multiple challenging POMDP domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google