Offline Meta Reinforcement Learning with In-Distribution Online Adaptation

要約

最近のオフライン メタ強化学習 (メタ RL) 手法は、通常、タスク依存の行動ポリシー (例: 個々のタスクごとに RL エージェントをトレーニングする) を利用して、マルチタスク データセットを収集します。
ただし、これらの方法では、タスクをテストするためのオフライン コンテキストなど、迅速に適応するための追加情報が常に必要になります。
この問題に対処するために、まずオフライン メタ RL における独特の課題、つまりオフライン データセットとオンライン適応の間の移行報酬分布の変化を正式に特徴付けます。
私たちの理論では、配信外の適応エピソードは信頼性の低い政策評価につながる可能性があり、配信中のエピソードによるオンライン適応は適応パフォーマンスの保証を保証できることがわかります。
これらの理論的洞察に基づいて、我々は、不確実性定量化を伴う流通内オンライン適応（IDAQ）と呼ばれる新しい適応フレームワークを提案します。これは、与えられた不確実性定量化を使用して分布内コンテキストを生成し、新しいタスクに対処するために効果的なタスク信念推論を実行します。
IDAQ が効果的に機能する、リターンベースの不確実性の定量化を発見しました。
実験では、オフライン適応の有無にかかわらずベースラインと比較して、IDAQ が Meta-World ML1 ベンチマークで最先端のパフォーマンスを達成していることが示されています。

要約(オリジナル)

Recent offline meta-reinforcement learning (meta-RL) methods typically utilize task-dependent behavior policies (e.g., training RL agents on each individual task) to collect a multi-task dataset. However, these methods always require extra information for fast adaptation, such as offline context for testing tasks. To address this problem, we first formally characterize a unique challenge in offline meta-RL: transition-reward distribution shift between offline datasets and online adaptation. Our theory finds that out-of-distribution adaptation episodes may lead to unreliable policy evaluation and that online adaptation with in-distribution episodes can ensure adaptation performance guarantee. Based on these theoretical insights, we propose a novel adaptation framework, called In-Distribution online Adaptation with uncertainty Quantification (IDAQ), which generates in-distribution context using a given uncertainty quantification and performs effective task belief inference to address new tasks. We find a return-based uncertainty quantification for IDAQ that performs effectively. Experiments show that IDAQ achieves state-of-the-art performance on the Meta-World ML1 benchmark compared to baselines with/without offline adaptation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google