Skill-Based Reinforcement Learning with Intrinsic Reward Matching

要約

教師なしスキル発見は、行動プリミティブを自律的に獲得する点で有望であることが示されていますが、タスクに依存しないスキルの事前トレーニングと、下流のタスクを意識した微調整の間には、方法論的な大きな隔たりがまだあります。
私たちは、微調整中に破棄されることが多い事前トレーニング モデル コンポーネント $\textit{skill discriminator}$ を介してこれら 2 つの学習フェーズを統合する固有報酬マッチング (IRM) を紹介します。
従来のアプローチでは、事前トレーニングされたエージェントをポリシー レベルで直接微調整し、最適なスキルを経験的に決定するために高価な環境の展開に依存することがよくありました。
ただし、多くの場合、タスクの最も簡潔かつ完全な説明は報酬関数自体であり、スキル学習メソッドは、スキル ポリシーに対応する弁別器を介して $\textit{intrinsic}$ 報酬関数を学習します。
私たちは、スキル識別子を活用して、本質的および下流のタスク報酬を $\textit{match}$ し、環境サンプルなしで目に見えないタスクに最適なスキルを決定し、その結果、より高いサンプル効率で微調整することを提案します。
さらに、複雑で長期にわたるタスクのスキルを順序付けするために IRM を一般化し、Fetch テーブルトップと Franka Kitchen のロボット操作ベンチマークの両方で、IRM を使用することで以前のスキル選択方法よりもはるかに効果的に事前トレーニングされたスキルを利用できることを実証しました。

要約(オリジナル)

While unsupervised skill discovery has shown promise in autonomously acquiring behavioral primitives, there is still a large methodological disconnect between task-agnostic skill pretraining and downstream, task-aware finetuning. We present Intrinsic Reward Matching (IRM), which unifies these two phases of learning via the $\textit{skill discriminator}$, a pretraining model component often discarded during finetuning. Conventional approaches finetune pretrained agents directly at the policy level, often relying on expensive environment rollouts to empirically determine the optimal skill. However, often the most concise yet complete description of a task is the reward function itself, and skill learning methods learn an $\textit{intrinsic}$ reward function via the discriminator that corresponds to the skill policy. We propose to leverage the skill discriminator to $\textit{match}$ the intrinsic and downstream task rewards and determine the optimal skill for an unseen task without environment samples, consequently finetuning with greater sample-efficiency. Furthermore, we generalize IRM to sequence skills for complex, long-horizon tasks and demonstrate that IRM enables us to utilize pretrained skills far more effectively than previous skill selection methods on both the Fetch tabletop and Franka Kitchen robot manipulation benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google