Understanding Expertise through Demonstrations: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning

要約

オフライン逆強化学習 (オフライン IRL) は、エキスパート エージェントからの固定された有限のデモンストレーション セットで観察されたアクションの根底にある報酬と環境ダイナミクスの構造を回復することを目的としています。
タスクを実行する際の専門知識の正確なモデルは、臨床上の意思決定や自動運転など、安全性が重視されるアプリケーションに適用されます。
しかし、観察された行動に内在する専門家の好みの構造は、専門家の環境ダイナミクスのモデル (つまり「世界」) と密接に関連しています。
したがって、限られた範囲の有限データから得られた世界の不正確なモデルは、推定報酬の不正確さを悪化させる可能性があります。
この問題に対処するために、推定タスクのバイレベル最適化定式化を提案します。上位レベルは、専門家のポリシー (下位レベル) の保守的なモデルに基づく尤度最大化です。
政策モデルは、世界の推定モデルの不確実性が増大しているペナルティを条件として、報酬を最大化するという点で保守的です。
バイレベル最適化問題の定式化を解決し、関連する報酬推定器のパフォーマンスの統計的および計算上の保証を提供するための新しいアルゴリズムフレームワークを提案します。
最後に、提案されたアルゴリズムが、MuJoCo の連続制御タスクと D4RL ベンチマークのさまざまなデータセットで、最先端のオフライン IRL および模倣学習ベンチマークよりも大幅に優れていることを示します。

要約(オリジナル)

Offline inverse reinforcement learning (Offline IRL) aims to recover the structure of rewards and environment dynamics that underlie observed actions in a fixed, finite set of demonstrations from an expert agent. Accurate models of expertise in executing a task has applications in safety-sensitive applications such as clinical decision making and autonomous driving. However, the structure of an expert’s preferences implicit in observed actions is closely linked to the expert’s model of the environment dynamics (i.e. the “world”). Thus, inaccurate models of the world obtained from finite data with limited coverage could compound inaccuracy in estimated rewards. To address this issue, we propose a bi-level optimization formulation of the estimation task wherein the upper level is likelihood maximization based upon a conservative model of the expert’s policy (lower level). The policy model is conservative in that it maximizes reward subject to a penalty that is increasing in the uncertainty of the estimated model of the world. We propose a new algorithmic framework to solve the bi-level optimization problem formulation and provide statistical and computational guarantees of performance for the associated reward estimator. Finally, we demonstrate that the proposed algorithm outperforms the state-of-the-art offline IRL and imitation learning benchmarks by a large margin, over the continuous control tasks in MuJoCo and different datasets in the D4RL benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google