Policy Adaptation from Foundation Model Feedback

要約

視覚言語基盤モデルの最近の進歩は、汎用ロボットの構築に大きな進歩をもたらしました。
事前トレーニング済みのモデルを使用してシーンと指示を意思決定の入力としてエンコードすることにより、指示条件付きポリシーをさまざまなオブジェクトとタスクにわたって一般化できます。
これは心強いことですが、目に見えないタスクや環境を考えると、ほとんどの場合、ポリシーは依然として失敗します。
この作業では、基本モデル フィードバック (PAFF) からのポリシー適応を提案します。
トレーニング済みのポリシーを新しいタスクまたは新しい環境にデプロイするときは、最初にランダムに生成された命令でポリシーを再生して、デモンストレーションを記録します。
実行が間違っている可能性がありますが、事前トレーニング済みの基盤モデルを使用してフィードバックを提供し、デモンストレーションを再ラベル付けできます。
これにより、ポリシーを微調整するためのデモンストレーションと指示のデータの新しいペアが自動的に提供されます。
目に見えないオブジェクト、目に見えないタスク、目に見えない環境、および sim-to-real 転送の一般化に焦点を当てた幅広い実験で、私たちの方法を評価します。
すべてのケースで、PAFF がベースラインを大幅に改善することを示しています。
私たちのプロジェクト ページは https://geyuying.github.io/PAFF/ にあります。

要約(オリジナル)

Recent progress on vision-language foundation models have brought significant advancement to building general-purpose robots. By using the pre-trained models to encode the scene and instructions as inputs for decision making, the instruction-conditioned policy can generalize across different objects and tasks. While this is encouraging, the policy still fails in most cases given an unseen task or environment. In this work, we propose Policy Adaptation from Foundation model Feedback (PAFF). When deploying the trained policy to a new task or a new environment, we first let the policy play with randomly generated instructions to record the demonstrations. While the execution could be wrong, we can use the pre-trained foundation models to provide feedback to relabel the demonstrations. This automatically provides new pairs of demonstration-instruction data for policy fine-tuning. We evaluate our method on a broad range of experiments with the focus on generalization on unseen objects, unseen tasks, unseen environments, and sim-to-real transfer. We show PAFF improves baselines by a large margin in all cases. Our project page is available at https://geyuying.github.io/PAFF/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google