Few-Shot In-Context Imitation Learning via Implicit Graph Alignment

要約

次の問題を考えてみましょう。いくつかの異なるオブジェクトにわたるタスクのデモンストレーションがいくつか行われた場合、ロボットは、以前は見たことのない新しいオブジェクトに対して同じタスクを実行する方法をどのように学習できるでしょうか?
クラス内のオブジェクトの種類が豊富であるため、新しいオブジェクトとデモンストレーション内のオブジェクトとの間のタスク関連の関係を推測することが困難になるため、これは困難です。
私たちは、オブジェクトのグラフ表現間の条件付きアラインメント問題として模倣学習を定式化することでこれに対処します。
その結果、この条件付けによってコンテキスト内学習が可能になることを示します。この学習では、ロボットは、オブジェクト クラスに関する事前知識や追加のトレーニングがなくても、デモンストレーションの直後に一連の新しいオブジェクトに対してタスクを実行できます。
私たちの実験では、設計の選択を調査および検証し、私たちの方法がベースラインを上回るパフォーマンスを示しながら、いくつかの実世界の日常タスクの数ショット学習に非常に効果的であることを示しました。
ビデオは、プロジェクトの Web ページ (https://www.robot-learning.uk/implicit-graph-alignment) でご覧いただけます。

要約(オリジナル)

Consider the following problem: given a few demonstrations of a task across a few different objects, how can a robot learn to perform that same task on new, previously unseen objects? This is challenging because the large variety of objects within a class makes it difficult to infer the task-relevant relationship between the new objects and the objects in the demonstrations. We address this by formulating imitation learning as a conditional alignment problem between graph representations of objects. Consequently, we show that this conditioning allows for in-context learning, where a robot can perform a task on a set of new objects immediately after the demonstrations, without any prior knowledge about the object class or any further training. In our experiments, we explore and validate our design choices, and we show that our method is highly effective for few-shot learning of several real-world, everyday tasks, whilst outperforming baselines. Videos are available on our project webpage at https://www.robot-learning.uk/implicit-graph-alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google