LOTUS: Continual Imitation Learning for Robot Manipulation Through Unsupervised Skill Discovery

要約

LOTUSは、物理ロボットがその寿命を通じて新しい操作タスクを解決するために継続的かつ効率的に学習することを可能にする、継続的模倣学習アルゴリズムである。LOTUSの中核となるアイデアは、少数の人間による実演を伴う一連の新しいタスクから、増え続けるスキルライブラリを構築することである。LOTUSは、オープンボキャブラリービジョンモデルを用いた継続的なスキル発見プロセスから始まり、スキルは、セグメント化されていないデモンストレーションで提示される繰り返しパターンとして抽出されます。継続的なスキル発見により、既存のスキルは更新され、以前のタスクの壊滅的な忘却を回避し、新しいタスクを解決するための新しいスキルが追加されます。LOTUSは、生涯学習プロセスにおいて、様々なスキルを柔軟に組み合わせて視覚ベースの操作タスクに取り組むメタコントローラを学習する。我々の包括的な実験によると、LOTUSは最先端のベースラインを11%以上上回る成功率を示しており、先行手法と比較して優れた知識伝達能力を示しています。より多くの結果とビデオは、プロジェクトのウェブサイトhttps://ut-austin-rpl.github.io/Lotus/。

要約(オリジナル)

We introduce LOTUS, a continual imitation learning algorithm that empowers a physical robot to continuously and efficiently learn to solve new manipulation tasks throughout its lifespan. The core idea behind LOTUS is constructing an ever-growing skill library from a sequence of new tasks with a small number of human demonstrations. LOTUS starts with a continual skill discovery process using an open-vocabulary vision model, which extracts skills as recurring patterns presented in unsegmented demonstrations. Continual skill discovery updates existing skills to avoid catastrophic forgetting of previous tasks and adds new skills to solve novel tasks. LOTUS trains a meta-controller that flexibly composes various skills to tackle vision-based manipulation tasks in the lifelong learning process. Our comprehensive experiments show that LOTUS outperforms state-of-the-art baselines by over 11% in success rate, showing its superior knowledge transfer ability compared to prior methods. More results and videos can be found on the project website: https://ut-austin-rpl.github.io/Lotus/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL