Explainable Finite-Memory Policies for Partially Observable Markov Decision Processes

要約

部分的に観察可能なマルコフ決定プロセス (POMDP) は、不確実性と部分的な観察可能性の下での意思決定のための基本的なフレームワークです。
一般に、最適なポリシーは無限のメモリを必要とするため、実装が難しく、ほとんどの問題が決定不能になることがよくあります。
したがって、代わりに有限メモリ ポリシーが主に考慮されます。
ただし、それらを計算するアルゴリズムは通常非常に複雑であり、結果として得られるポリシーも同様です。
説明可能性の必要性に直面して、私たちは、そのようなポリシーの表現を、(i) 解釈可能な形式で、および (ii) 通常より小さいサイズで提供し、一緒にするとより高い説明可能性が得られます。
そのために、Mealy マシンのモデルとデシジョン ツリーを組み合わせます。
後者はポリシーの単純な固定部分を説明し、前者はポリシー間の切り替え方法を説明します。
標準文献から有限状態コントローラ (FSC) 形式のポリシーの翻訳を設計し、私たちの方法が有限メモリ ポリシーの他のバリアントにどのようにスムーズに一般化されるかを示します。
さらに、最近使用された「アトラクターベース」ポリシーの特定のプロパティを特定し、より単純で小さい表現を構築できるようにします。
最後に、いくつかのケーススタディでより高い説明可能性を説明します。

要約(オリジナル)

Partially Observable Markov Decision Processes (POMDPs) are a fundamental framework for decision-making under uncertainty and partial observability. Since in general optimal policies may require infinite memory, they are hard to implement and often render most problems undecidable. Consequently, finite-memory policies are mostly considered instead. However, the algorithms for computing them are typically very complex, and so are the resulting policies. Facing the need for their explainability, we provide a representation of such policies, both (i) in an interpretable formalism and (ii) typically of smaller size, together yielding higher explainability. To that end, we combine models of Mealy machines and decision trees; the latter describing simple, stationary parts of the policies and the former describing how to switch among them. We design a translation for policies of the finite-state-controller (FSC) form from standard literature and show how our method smoothly generalizes to other variants of finite-memory policies. Further, we identify specific properties of recently used ‘attractor-based’ policies, which allow us to construct yet simpler and smaller representations. Finally, we illustrate the higher explainability in a few case studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google