Bayesian Inverse Transition Learning for Offline Settings

要約

オフライン強化学習は、医療や教育などの分野での逐次的な意思決定に一般的に使用されます。この場合、報酬は既知であり、バッチ データに基づいて移行ダイナミクス $T$ を推定する必要があります。
すべてのタスクにとって重要な課題は、価値関数に関して最善のアクションから大きくかけ離れたアクションを決して取らないように、十分に安全な最適に近いポリシーを生成する遷移ダイナミクス $T$ の信頼できる推定値をどのように学習するかです。
そして、彼らが抱えている不確実性を伝えるのに十分な情報を提供します。
専門家からのデータを使用して、勾配のない遷移ダイナミクス $T$ の事後分布を確実に学習するという要望を捉える、新しい制約ベースのアプローチを提案します。
私たちの結果は、制約を使用することで、さまざまなデータセットにわたるポリシーの分散を大幅に削減しながら、高パフォーマンスのポリシーを学習できることを示しています。
また、不確実性の推定とこれらの制約を組み合わせることで、より高い利益を生み出すアクションの部分的なランキングを推測するのにどのように役立ち、計画のためのより安全でより有益な政策を推測するのにどのように役立つかについても説明します。

要約(オリジナル)

Offline Reinforcement learning is commonly used for sequential decision-making in domains such as healthcare and education, where the rewards are known and the transition dynamics $T$ must be estimated on the basis of batch data. A key challenge for all tasks is how to learn a reliable estimate of the transition dynamics $T$ that produce near-optimal policies that are safe enough so that they never take actions that are far away from the best action with respect to their value functions and informative enough so that they communicate the uncertainties they have. Using data from an expert, we propose a new constraint-based approach that captures our desiderata for reliably learning a posterior distribution of the transition dynamics $T$ that is free from gradients. Our results demonstrate that by using our constraints, we learn a high-performing policy, while considerably reducing the policy’s variance over different datasets. We also explain how combining uncertainty estimation with these constraints can help us infer a partial ranking of actions that produce higher returns, and helps us infer safer and more informative policies for planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google