\textsc{rfPG}: Robust Finite-Memory Policy Gradients for Hidden-Model POMDPs

要約

不確実性の下での順次意思決定における部分的に観察可能なマルコフ決定プロセス（POMDP）モデル固有の環境。
重大なことに、POMDPの最適なポリシーは、環境の摂動に対して堅牢ではない場合があります。
Hidden-Model POMDP（HM-POMDP）は、さまざまな環境モデル、つまり共有アクションと観測スペースを持つPOMDPのセットをキャプチャします。
直感は、真のモデルが潜在的なモデルのセットに隠されていることであり、実行時にどのモデルが環境になるかは不明です。
POMDPごとに十分なパフォーマンスを達成する場合、特定のHM-POMDPに対してポリシーは堅牢です。
2つの直交技術を組み合わせることにより、このような堅牢なポリシーを計算します。（1）HM-POMDP内の最悪のケースPOMDPを計算することにより、扱いやすい堅牢なポリシー評価をサポートする演ductive的な正式な検証手法と、（2）最悪のケースPOMDPの候補ポリシーを最適化するための細分昇格。
経験的評価は、さまざまなベースラインと比較して、私たちのアプローチ（1）がより堅牢で、目に見えないPOMDPに対してより良く一般化するポリシーを生成し、（2）10万を超える環境で構成されるHM-POMDPに対してスケールを生成することを示しています。

要約(オリジナル)

Partially observable Markov decision processes (POMDPs) model specific environments in sequential decision-making under uncertainty. Critically, optimal policies for POMDPs may not be robust against perturbations in the environment. Hidden-model POMDPs (HM-POMDPs) capture sets of different environment models, that is, POMDPs with a shared action and observation space. The intuition is that the true model is hidden among a set of potential models, and it is unknown which model will be the environment at execution time. A policy is robust for a given HM-POMDP if it achieves sufficient performance for each of its POMDPs. We compute such robust policies by combining two orthogonal techniques: (1) a deductive formal verification technique that supports tractable robust policy evaluation by computing a worst-case POMDP within the HM-POMDP and (2) subgradient ascent to optimize the candidate policy for a worst-case POMDP. The empirical evaluation shows that, compared to various baselines, our approach (1) produces policies that are more robust and generalize better to unseen POMDPs and (2) scales to HM-POMDPs that consist of over a hundred thousand environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google