PIRLNav: Pretraining with Imitation and RL Finetuning for ObjectNav

要約

私たちは ObjectGoal Navigation を研究しています。これは、新しい環境に置かれた仮想ロボットがオブジェクトに移動するように求められる場所です。
以前の研究では、人間のデモンストレーションのデータセットで行動クローニング (BC) を使用した模倣学習 (IL) が有望な結果を達成することが示されています。
ただし、これには限界があります。1) 訓練は結果ではなく行動を模倣するため、BC ポリシーは新しい状態にあまり一般化されません。2) デモの収集には費用がかかります。
一方、強化学習 (RL) は簡単に拡張できますが、望ましい動作を実現するには注意深い報酬エンジニアリングが必要です。
人間のデモンストレーションでの BC 事前トレーニングとそれに続く RL 微調整の 2 段階の学習スキームである PIRLNav を提示します。
これは、ObjectNav で $65.0\%$ の成功率を達成するポリシーにつながります (以前の最新技術に比べて絶対 $+5.0\%$)。
この BC$\rightarrow$RL トレーニング レシピを使用して、設計選択の厳密な経験的分析を提示します。
最初に、人間のデモンストレーションを「無料の」（自動生成された）デモンストレーションのソースに置き換えることができるかどうかを調査します。
最短経路 (SP) またはタスクに依存しないフロンティア探索 (FE) 軌道。
人間のデモンストレーションでの BC$\rightarrow$RL は、SP および FE 軌跡での BC$\rightarrow$RL よりも優れていることがわかります。これは、電車での同じ BC 事前トレーニングの成功のために制御された場合でも、BC 事前トレーニングが成功した val エピソードのサブセットでさえもです。
SP または FE ポリシーを優先します。
次に、RL 微調整のパフォーマンスが BC 事前トレーニング データセットのサイズに応じてどのように変化するかを調べます。
BC 事前トレーニング データセットのサイズを増やして高い BC 精度に到達すると、RL 微調整による改善は小さくなり、最高の BC$\rightarrow$RL ポリシーのパフォーマンスの $90\%$ を達成できることがわかりました。
BCのデモの半分以下で。
最後に、ObjectNav ポリシーの失敗モードを分析し、さらに改善するためのガイドラインを示します。

要約(オリジナル)

We study ObjectGoal Navigation — where a virtual robot situated in a new environment is asked to navigate to an object. Prior work has shown that imitation learning (IL) using behavior cloning (BC) on a dataset of human demonstrations achieves promising results. However, this has limitations — 1) BC policies generalize poorly to new states, since the training mimics actions not their consequences, and 2) collecting demonstrations is expensive. On the other hand, reinforcement learning (RL) is trivially scalable, but requires careful reward engineering to achieve desirable behavior. We present PIRLNav, a two-stage learning scheme for BC pretraining on human demonstrations followed by RL-finetuning. This leads to a policy that achieves a success rate of $65.0\%$ on ObjectNav ($+5.0\%$ absolute over previous state-of-the-art). Using this BC$\rightarrow$RL training recipe, we present a rigorous empirical analysis of design choices. First, we investigate whether human demonstrations can be replaced with `free’ (automatically generated) sources of demonstrations, e.g. shortest paths (SP) or task-agnostic frontier exploration (FE) trajectories. We find that BC$\rightarrow$RL on human demonstrations outperforms BC$\rightarrow$RL on SP and FE trajectories, even when controlled for same BC-pretraining success on train, and even on a subset of val episodes where BC-pretraining success favors the SP or FE policies. Next, we study how RL-finetuning performance scales with the size of the BC pretraining dataset. We find that as we increase the size of BC-pretraining dataset and get to high BC accuracies, improvements from RL-finetuning are smaller, and that $90\%$ of the performance of our best BC$\rightarrow$RL policy can be achieved with less than half the number of BC demonstrations. Finally, we analyze failure modes of our ObjectNav policies, and present guidelines for further improving them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google