DIRIGENt: End-To-End Robotic Imitation of Human Demonstrations Based on a Diffusion Model

要約

ヒューマノイドロボットには大きな進歩があり、ナビゲーションから操作に至るまで、新しいスキルが継続的に教えられています。
これらの能力は印象的に思えるかもしれませんが、教育方法はしばしば非効率的なままです。
ロボットを教えるプロセスを強化するために、人間が効果的に使用するメカニズムを活用することを提案します。
このホワイトペーパーでは、Dirigent（直接ロボット模倣生成モデル）を紹介します。これは、人間のデモンストレーションを観察することから関節の値を直接生成する新しいエンドツーエンド拡散アプローチであり、ロボットが既存のマッピングと人間の間でこれらのアクションを模倣できるようにします。
人間がロボットを模倣するデータセットを作成し、この収集されたデータを使用して、ロボットが人間を模倣できるようにする拡散モデルを訓練します。
次の3つの側面が私たちの貢献の中核です。
1つ目は、人間とロボットのポーズの間に自然なペアを持つ私たちの新しいデータセットであり、解剖学の間のギャップにもかかわらず、人間を正確に模倣するアプローチを可能にします。
第二に、モデルへの拡散入力は、冗長なジョイント構成の課題を軽減し、検索空間を制限します。
そして最後に、知覚からアクションへのエンドツーエンドのアーキテクチャは、学習能力の改善につながります。
実験分析を通じて、これらの3つの側面を組み合わせることで、DirigentがRGB画像から共同値を生成する分野で既存の最先端のアプローチを上回ることができることを示します。

要約(オリジナル)

There has been substantial progress in humanoid robots, with new skills continuously being taught, ranging from navigation to manipulation. While these abilities may seem impressive, the teaching methods often remain inefficient. To enhance the process of teaching robots, we propose leveraging a mechanism effectively used by humans: teaching by demonstrating. In this paper, we introduce DIRIGENt (DIrect Robotic Imitation GENeration model), a novel end-to-end diffusion approach that directly generates joint values from observing human demonstrations, enabling a robot to imitate these actions without any existing mapping between it and humans. We create a dataset in which humans imitate a robot and then use this collected data to train a diffusion model that enables a robot to imitate humans. The following three aspects are the core of our contribution. First is our novel dataset with natural pairs between human and robot poses, allowing our approach to imitate humans accurately despite the gap between their anatomies. Second, the diffusion input to our model alleviates the challenge of redundant joint configurations, limiting the search space. And finally, our end-to-end architecture from perception to action leads to an improved learning capability. Through our experimental analysis, we show that combining these three aspects allows DIRIGENt to outperform existing state-of-the-art approaches in the field of generating joint values from RGB images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google