Using Both Demonstrations and Language Instructions to Efficiently Learn Robotic Tasks

要約

タイトル：デモンストレーションと自然言語指示を使ってロボットタスクを効率的に学習する
要約：
– ロボットに新しいタスクを指示するために、デモンストレーションや自然言語指示を使うことが一般的だが、複雑なタスクの場合、どちらの方法でも曖昧さが残り、明確に指示することができない。
– それらの問題を解決するため、本研究では、デモンストレーションと自然言語指示を組み合わせることで、ロボットにタスクをより簡潔かつ効果的に伝える方法を提案している。
– 本研究では、教育者が新しいタスクを指示する際に必要な努力を大幅に減らすことができ、新しいオブジェクトや指示において従来の方法よりも汎用性が向上することが示されている。
– マルチタスクロボット操作ポリシーをデモンストレーションと言語の両方の埋め込みに同時に条件付けることで、サンプルの効率性と汎用性が向上することが示された。

要約(オリジナル)

Demonstrations and natural language instructions are two common ways to specify and teach robots novel tasks. However, for many complex tasks, a demonstration or language instruction alone contains ambiguities, preventing tasks from being specified clearly. In such cases, a combination of both a demonstration and an instruction more concisely and effectively conveys the task to the robot than either modality alone. To instantiate this problem setting, we train a single multi-task policy on a few hundred challenging robotic pick-and-place tasks and propose DeL-TaCo (Joint Demo-Language Task Conditioning), a method for conditioning a robotic policy on task embeddings comprised of two components: a visual demonstration and a language instruction. By allowing these two modalities to mutually disambiguate and clarify each other during novel task specification, DeL-TaCo (1) substantially decreases the teacher effort needed to specify a new task and (2) achieves better generalization performance on novel objects and instructions over previous task-conditioning methods. To our knowledge, this is the first work to show that simultaneously conditioning a multi-task robotic manipulation policy on both demonstration and language embeddings improves sample efficiency and generalization over conditioning on either modality alone. See additional materials at https://deltaco-robot.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI