Adaptive Language-Guided Abstraction from Contrastive Explanations

要約

ロボット学習への多くのアプローチは、人間による一連のデモンストレーションから報酬関数を推測することから始まります。
適切な報酬を学習するには、報酬を計算するためにこれらの特徴をどのように使用するかを決定する前に、環境のどの特徴が関連しているかを決定する必要があります。
特徴と報酬を共同学習するためのエンドツーエンドの方法 (ディープ ネットワークやプログラム合成技術を使用するなど) では、多くの場合、偽の状態特徴に敏感な脆弱な報酬関数が生成されます。
対照的に、人間は、デモンストレーションのどのような特徴が関心のあるタスクにとって意味がある可能性が高いかについての強力な事前分布を組み込むことによって、少数のデモンストレーションから一般的に学習できることがよくあります。
新しいデモンストレーションから学ぶときに、この種の背景知識を活用するロボットをどのように構築すればよいでしょうか?
この論文では、言語モデルを使用して、実証された動作を説明するために必要な人間が意味のある特徴を繰り返し識別し、その後、これらの特徴に重みを割り当てる標準的な逆強化学習技術を交互に使用する ALGAE ([対照的] 説明からの適応型言語誘導抽象化) と呼ばれる手法について説明します。
。
シミュレートされたロボット環境と現実世界のロボット環境の両方でのさまざまな実験では、ALGAE が少数のデモンストレーションのみを使用して、解釈可能な特徴に定義された一般化可能な報酬関数を学習することが示されています。
重要なのは、ALGAE は特徴が欠落していることを認識し、人間の入力なしでそれらの特徴を抽出して定義できるため、ユーザーの行動の豊富な表現を迅速かつ効率的に取得できるようになります。

要約(オリジナル)

Many approaches to robot learning begin by inferring a reward function from a set of human demonstrations. To learn a good reward, it is necessary to determine which features of the environment are relevant before determining how these features should be used to compute reward. End-to-end methods for joint feature and reward learning (e.g., using deep networks or program synthesis techniques) often yield brittle reward functions that are sensitive to spurious state features. By contrast, humans can often generalizably learn from a small number of demonstrations by incorporating strong priors about what features of a demonstration are likely meaningful for a task of interest. How do we build robots that leverage this kind of background knowledge when learning from new demonstrations? This paper describes a method named ALGAE (Adaptive Language-Guided Abstraction from [Contrastive] Explanations) which alternates between using language models to iteratively identify human-meaningful features needed to explain demonstrated behavior, then standard inverse reinforcement learning techniques to assign weights to these features. Experiments across a variety of both simulated and real-world robot environments show that ALGAE learns generalizable reward functions defined on interpretable features using only small numbers of demonstrations. Importantly, ALGAE can recognize when features are missing, then extract and define those features without any human input — making it possible to quickly and efficiently acquire rich representations of user behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google