Robotic Imitation of Human Actions

要約

模倣することで、新しいタスクをすぐに理解できるようになります。
デモンストレーションを通じて、どのアクションを実行する必要があるのか​​、どのような目標があるのか​​を直接知ることができます。
本稿では、視点や身体図式の変更など、人間を模倣するロボットの課題に取り組む模倣学習への新しいアプローチを紹介します。
私たちのアプローチでは、人間による 1 人のデモンストレーションを使用して、デモンストレーションされたタスクに関する情報を抽象化し、その情報を使用してタスクを一般化および複製できます。
私たちは、デモンストレーションから時間情報を抽象化する拡散アクション セグメンテーション モデルと、空間情報のオープン ボキャブラリー オブジェクト検出器という 2 つの最先端の方法を新たに統合することで、この機能を促進します。
さらに、抽象化された情報を洗練し、象徴的推論を使用して逆運動学を利用した行動計画を作成し、ロボットが実証された行動を模倣できるようにします。

要約(オリジナル)

Imitation can allow us to quickly gain an understanding of a new task. Through a demonstration, we can gain direct knowledge about which actions need to be performed and which goals they have. In this paper, we introduce a new approach to imitation learning that tackles the challenges of a robot imitating a human, such as the change in perspective and body schema. Our approach can use a single human demonstration to abstract information about the demonstrated task, and use that information to generalise and replicate it. We facilitate this ability by a new integration of two state-of-the-art methods: a diffusion action segmentation model to abstract temporal information from the demonstration and an open vocabulary object detector for spatial information. Furthermore, we refine the abstracted information and use symbolic reasoning to create an action plan utilising inverse kinematics, to allow the robot to imitate the demonstrated action.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google