Self-Play and Self-Describe: Policy Adaptation with Vision-Language Foundation Models

要約

視覚言語基盤モデルの最近の進歩は、汎用ロボットの構築に大きな進歩をもたらしました。
事前トレーニング済みのモデルを使用してシーンと指示を意思決定の入力としてエンコードすることにより、指示条件付きポリシーをさまざまなオブジェクトとタスクにわたって一般化できます。
これは心強いことですが、目に見えないタスクや環境を考えると、ほとんどの場合、ポリシーは依然として失敗します。
ポリシーを目に見えないタスクや環境に適応させるために、Self-PLAY and Self-Describe (SPLAYD) を使用して事前トレーニング済みの基盤モデルを活用する新しいパラダイムを探ります。
トレーニング済みのポリシーを新しいタスクまたは新しい環境にデプロイするときは、最初にランダムに生成された命令でポリシーをセルフプレイさせて、デモンストレーションを記録します。
実行が間違っている可能性がありますが、事前にトレーニングされた基盤モデルを使用して、デモンストレーションを正確に自己記述 (つまり、再ラベル付けまたは分類) できます。
これにより、ポリシーを微調整するためのデモンストレーションと指示のデータの新しいペアが自動的に提供されます。
目に見えないオブジェクト、目に見えないタスク、目に見えない環境、および sim-to-real 転送の一般化に焦点を当てた幅広い実験で、私たちの方法を評価します。
すべてのケースで、SPLAYD がベースラインを大幅に改善することを示しています。
私たちのプロジェクト ページは https://geyuying.github.io/SPLAYD/ にあります。

要約(オリジナル)

Recent progress on vision-language foundation models have brought significant advancement to building general-purpose robots. By using the pre-trained models to encode the scene and instructions as inputs for decision making, the instruction-conditioned policy can generalize across different objects and tasks. While this is encouraging, the policy still fails in most cases given an unseen task or environment. To adapt the policy to unseen tasks and environments, we explore a new paradigm on leveraging the pre-trained foundation models with Self-PLAY and Self-Describe (SPLAYD). When deploying the trained policy to a new task or a new environment, we first let the policy self-play with randomly generated instructions to record the demonstrations. While the execution could be wrong, we can use the pre-trained foundation models to accurately self-describe (i.e., re-label or classify) the demonstrations. This automatically provides new pairs of demonstration-instruction data for policy fine-tuning. We evaluate our method on a broad range of experiments with the focus on generalization on unseen objects, unseen tasks, unseen environments, and sim-to-real transfer. We show SPLAYD improves baselines by a large margin in all cases. Our project page is available at https://geyuying.github.io/SPLAYD/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google