Online Planning in POMDPs with State-Requests

要約

現実世界の重要な問題では、完全な状態情報が入手できる場合もありますが、高精度ではあるがエネルギーを大量に消費するセンサーを起動したり、人間に相談したりするなど、コストが高くつき、エージェントは部分的な可観測性の下で動作せざるを得なくなります。
このシナリオでは、状態リクエストを持つ POMDP 向けに調整された原則に基づいたオンライン プランニング アルゴリズムである AEMS-SR (Anytime Error Minimization Search with State Requests) を提案します。
AEMS-SR は、サーチ スペースをツリーではなくグラフとして表すことにより、状態リクエストに起因するサーチ スペースの指数関数的な増大を回避します。
理論分析は、AEMS-SR の $\varepsilon$-最適性を示し、ソリューションの品質を保証します。一方、実証的評価は、2 つの SOTA オンライン プランニング アルゴリズムである AEMS および POMCP と比較したその有効性を示します。
AEMS-SR は、部分的な可観測性とコストのかかる状態リクエストを特徴とするドメインでの効率的な計画を可能にし、さまざまなアプリケーションにわたって実用的なメリットをもたらします。

要約(オリジナル)

In key real-world problems, full state information is sometimes available but only at a high cost, like activating precise yet energy-intensive sensors or consulting humans, thereby compelling the agent to operate under partial observability. For this scenario, we propose AEMS-SR (Anytime Error Minimization Search with State Requests), a principled online planning algorithm tailored for POMDPs with state requests. By representing the search space as a graph instead of a tree, AEMS-SR avoids the exponential growth of the search space originating from state requests. Theoretical analysis demonstrates AEMS-SR’s $\varepsilon$-optimality, ensuring solution quality, while empirical evaluations illustrate its effectiveness compared with AEMS and POMCP, two SOTA online planning algorithms. AEMS-SR enables efficient planning in domains characterized by partial observability and costly state requests offering practical benefits across various applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google