Diffusing in Someone Else’s Shoes: Robotic Perspective Taking with Diffusion

要約

ヒューマノイドロボットは、人間から学習することで、人間の形に似ているという利点を得ることができる。人間が他の人間に動作を教えるとき、その動作を実演することが多く、学習する人間はその実演を真似て動作のイメージをつかむ。三人称の視点から見たデモンストレーションを、一人称の視点からどう見えるべきかを精神的に伝達できることが、人間のこの能力の基本である。これは困難なタスクであるため、ロボットでは一人称視点からのデモンストレーションを作成することで簡略化されることが多い。このようなデモンストレーションを作成することで、より簡単に模倣することができるが、より多くの労力を必要とする。そこで我々は、ロボットが三人称視点からの一人称視点を生成するように学習することで、三人称視点からの実演から直接学習することを可能にする新しい拡散モデルを導入する。このモデルは、2つの視点間でオブジェクトと環境のサイズと回転を変換する。これにより、容易に生成できる三人称のデモンストレーションと、容易に模倣できる一人称のデモンストレーションの利点を利用することができる。

要約(オリジナル)

Humanoid robots can benefit from their similarity to the human shape by learning from humans. When humans teach other humans how to perform actions, they often demonstrate the actions, and the learning human imitates the demonstration to get an idea of how to perform the action. Being able to mentally transfer from a demonstration seen from a third-person perspective to how it should look from a first-person perspective is fundamental for this ability in humans. As this is a challenging task, it is often simplified for robots by creating demonstrations from the first-person perspective. Creating these demonstrations allows for an easier imitation but requires more effort. Therefore, we introduce a novel diffusion model that enables the robot to learn from the third-person demonstrations directly by learning to generate the first-person perspective from the third-person perspective. The model translates the size and rotations of objects and the environment between the two perspectives. This allows us to utilise the benefits of easy-to-produce third-person demonstrations and easy-to-imitate first-person demonstrations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL