Robotic Imitation of Human Actions

要約

模倣をすることで、私たちは新しいタスクを素早く理解することができる。実演を通じて、どのような動作を行う必要があるのか、どのような目標があるのかについて直接的な知識を得ることができる。本論文では、ロボットが人間を模倣する際の課題である、視点やボディスキーマの変化に取り組む、模倣学習の新しいアプローチを紹介する。本アプローチは、1回の人間の実演を利用して、実演されたタスクに関する情報を抽象化し、その情報を利用して、そのタスクを一般化し、再現することができる。この能力は、2つの最先端手法の新たな統合によって促進される。すなわち、実演から時間情報を抽象化するための拡散行動セグメンテーションモデルと、空間情報のためのオープン語彙オブジェクト検出器である。さらに、抽象化された情報を改良し、記号的推論を用いて逆運動学を利用した行動計画を作成し、ロボットが実演された動作を模倣できるようにする。

要約(オリジナル)

Imitation can allow us to quickly gain an understanding of a new task. Through a demonstration, we can gain direct knowledge about which actions need to be performed and which goals they have. In this paper, we introduce a new approach to imitation learning that tackles the challenges of a robot imitating a human, such as the change in perspective and body schema. Our approach can use a single human demonstration to abstract information about the demonstrated task, and use that information to generalise and replicate it. We facilitate this ability by a new integration of two state-of-the-art methods: a diffusion action segmentation model to abstract temporal information from the demonstration and an open vocabulary object detector for spatial information. Furthermore, we refine the abstracted information and use symbolic reasoning to create an action plan utilising inverse kinematics, to allow the robot to imitate the demonstrated action.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL