Offline Bayesian Aleatoric and Epistemic Uncertainty Quantification and Posterior Value Optimisation in Finite-State MDPs

要約

私たちは、ベイジアンの不確実性を定量化し、それを未知のダイナミクスを伴う有限状態マルコフ決定プロセス (MDP) のオフライン ユース ケースに組み込むという課題に取り組みます。
私たちのアプローチは、認識的不確実性と偶然的不確実性を解きほぐすための原則に基づいた方法と、MDP の事後分布に関する強い仮定に依存せずにベイジアン事後期待値を最適化するポリシーを見つけるための新しい手法を提供します。
まず、標準的なベイジアン強化学習手法を利用して、利用可能なデータに基づいて MDP パラメーターの事後不確実性を取得します。
次に、事後サンプルにわたるリターン分布の最初の 2 つのモーメントを分析的に計算し、全分散の法則を適用して偶然性と認識論的な不確実性を解きほぐします。
事後期待値を最大化するポリシーを見つけるために、ポリシーの関数としての値の閉じた形式の式を利用します。
これにより、問題を解決するための確率的勾配ベースのアプローチを提案できるようになります。
シンプルで解釈可能なグリッドワールドでエージェントの不確実性の定量化とベイジアン事後値最適化のパフォーマンスを示し、合成 MDP のグラウンドトゥルース評価を通じてそれを検証します。
最後に、集中治療室の患者に治療を推奨し、オフライン データを使用する有限状態 MDP の主要なユースケースとして浮上している AI Clinician 問題にこの手法を適用することで、この手法の実世界への影響と計算のスケーラビリティを強調します。
私たちは、ベイジアン決定理論に根ざした手法を現実世界に適用できる可能性を実証しながら、大規模な MDP のベイジアン モデリングで生じる課題について説明します。
コードは https://github.com/filippovaldettaro/finite-state-mdps で公開しています。

要約(オリジナル)

We address the challenge of quantifying Bayesian uncertainty and incorporating it in offline use cases of finite-state Markov Decision Processes (MDPs) with unknown dynamics. Our approach provides a principled method to disentangle epistemic and aleatoric uncertainty, and a novel technique to find policies that optimise Bayesian posterior expected value without relying on strong assumptions about the MDP’s posterior distribution. First, we utilise standard Bayesian reinforcement learning methods to capture the posterior uncertainty in MDP parameters based on available data. We then analytically compute the first two moments of the return distribution across posterior samples and apply the law of total variance to disentangle aleatoric and epistemic uncertainties. To find policies that maximise posterior expected value, we leverage the closed-form expression for value as a function of policy. This allows us to propose a stochastic gradient-based approach for solving the problem. We illustrate the uncertainty quantification and Bayesian posterior value optimisation performance of our agent in simple, interpretable gridworlds and validate it through ground-truth evaluations on synthetic MDPs. Finally, we highlight the real-world impact and computational scalability of our method by applying it to the AI Clinician problem, which recommends treatment for patients in intensive care units and has emerged as a key use case of finite-state MDPs with offline data. We discuss the challenges that arise with Bayesian modelling of larger scale MDPs while demonstrating the potential to apply our methods rooted in Bayesian decision theory into the real world. We make our code available at https://github.com/filippovaldettaro/finite-state-mdps .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google