ImitationNet: Unsupervised Human-to-Robot Motion Retargeting via Shared Latent Space

要約

この論文では、人間からロボットへのモーションのリターゲティングのための新しいディープラーニング アプローチを紹介し、ロボットが人間のポーズを正確に模倣できるようにします。
これまでの深層学習ベースの研究とは対照的に、私たちの方法では人間とロボットのデータをペアにする必要がないため、新しいロボットへの変換が容易になります。
まず、提案された人間とロボットのポーズ間のクロスドメイン類似性メトリクスを利用する適応対比学習を通じて、人間とロボットの間に共有潜在空間を構築します。
さらに、ポーズの類似性を正確に捕捉し、潜在空間から直接ロボットの動作制御を可能にする共通の潜在空間を構築するための一貫性項を提案します。
たとえば、投影された 2 つの人間のポーズ間の単純な線形補間を通じて、中間のモーションを生成できます。
さまざまなモダリティ（テキスト、RGBビデオ、キーポーズなど）からロボット制御を総合的に評価することで、専門知識のないユーザーでもロボット制御を容易にします。
私たちのモデルは、効率と精度の点で、人間からロボットへのリターゲティングに関する既存の研究よりも優れています。
最後に、全身コントローラーによる自己衝突回避機能を備えた実際のロボットにメソッドを実装し、アプローチの有効性を実証しました。
詳細については、当社の Web サイト https://evm7.github.io/UnsH2R/ をご覧ください。

要約(オリジナル)

This paper introduces a novel deep-learning approach for human-to-robot motion retargeting, enabling robots to mimic human poses accurately. Contrary to prior deep-learning-based works, our method does not require paired human-to-robot data, which facilitates its translation to new robots. First, we construct a shared latent space between humans and robots via adaptive contrastive learning that takes advantage of a proposed cross-domain similarity metric between the human and robot poses. Additionally, we propose a consistency term to build a common latent space that captures the similarity of the poses with precision while allowing direct robot motion control from the latent space. For instance, we can generate in-between motion through simple linear interpolation between two projected human poses. We conduct a comprehensive evaluation of robot control from diverse modalities (i.e., texts, RGB videos, and key poses), which facilitates robot control for non-expert users. Our model outperforms existing works regarding human-to-robot retargeting in terms of efficiency and precision. Finally, we implemented our method in a real robot with self-collision avoidance through a whole-body controller to showcase the effectiveness of our approach. More information on our website https://evm7.github.io/UnsH2R/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google