Off-policy Evaluation in Doubly Inhomogeneous Environments

要約

この研究は、時間的定常性と個別の均一性という 2 つの主要な強化学習 (RL) の仮定が両方とも違反されるシナリオの下で、オフポリシー評価 (OPE) を研究することを目的としています。
「二重不均一性」を処理するために、報酬と観察の遷移関数の潜在因子モデルのクラスを提案し、その下でモデルベースのアプローチとモデルフリーのアプローチの両方で構成される一般的な OPE フレームワークを開発します。
私たちの知る限り、これは二重不均一性を伴うオフライン RL で統計的に健全な OPE 手法を開発した最初の論文です。
これは、標準の RL 仮定が満たされない環境における OPE のより深い理解に貢献し、これらの設定におけるいくつかの実践的なアプローチを提供します。
提案された値推定量の理論的特性を確立し、私たちのアプローチが時間的非定常性または個別の不均一性のいずれかを無視する競合する方法よりも優れていることを経験的に示します。
最後に、集中治療用の Medical Information Mart のデータセットを使用した方法を説明します。

要約(オリジナル)

This work aims to study off-policy evaluation (OPE) under scenarios where two key reinforcement learning (RL) assumptions — temporal stationarity and individual homogeneity are both violated. To handle the “double inhomogeneities’, we propose a class of latent factor models for the reward and observation transition functions, under which we develop a general OPE framework that consists of both model-based and model-free approaches. To our knowledge, this is the first paper that develops statistically sound OPE methods in offline RL with double inhomogeneities. It contributes to a deeper understanding of OPE in environments, where standard RL assumptions are not met, and provides several practical approaches in these settings. We establish the theoretical properties of the proposed value estimators and empirically show that our approach outperforms competing methods that ignore either temporal nonstationarity or individual heterogeneity. Finally, we illustrate our method on a data set from the Medical Information Mart for Intensive Care.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google