G-DReaM: Graph-conditioned Diffusion Retargeting across Multiple Embodiments

要約

既存のモーションデータセットからの特定のロボットのモーションリターゲティングは、人間の行動からさまざまなロボット全体にモーションパターンを転送する重要なステップの1つです。
ただし、トポロジー構造、幾何学的パラメーター、および共同対応の不一致により、統一されたリターゲティングアーキテクチャとの多様な実施形態を処理することが困難になります。
この作業では、多様な実施形態を介したリターゲティング参照運動のための新しい統一グラフ条件付き拡散ベースのモーション生成フレームワークを提案します。
不均一な実施形態の固有の特性は、異なるロボットのトポロジー的および幾何学的特徴を効果的にキャプチャするグラフ構造で表されます。
このようなグラフベースのエンコーディングにより、この作業で開発されたカスタマイズされた注意メカニズムを使用して、関節レベルでの知識の活用がさらに可能になります。
目的の具体化の地上真理の動きを欠くために、拡散モデルを訓練するためにリターゲティング損失として定式化されたエネルギーベースのガイダンスを利用します。
ロボット工学における最初の交配運動リターゲティング方法の1つとして、我々の実験は、提案されたモデルが統一された方法で不均一な実施形態を越えてリターゲットすることができることを検証します。
さらに、多様な骨格構造と同様のモーションパターンの両方にある程度の一般化を示しています。

要約(オリジナル)

Motion retargeting for specific robot from existing motion datasets is one critical step in transferring motion patterns from human behaviors to and across various robots. However, inconsistencies in topological structure, geometrical parameters as well as joint correspondence make it difficult to handle diverse embodiments with a unified retargeting architecture. In this work, we propose a novel unified graph-conditioned diffusion-based motion generation framework for retargeting reference motions across diverse embodiments. The intrinsic characteristics of heterogeneous embodiments are represented with graph structure that effectively captures topological and geometrical features of different robots. Such a graph-based encoding further allows for knowledge exploitation at the joint level with a customized attention mechanisms developed in this work. For lacking ground truth motions of the desired embodiment, we utilize an energy-based guidance formulated as retargeting losses to train the diffusion model. As one of the first cross-embodiment motion retargeting methods in robotics, our experiments validate that the proposed model can retarget motions across heterogeneous embodiments in a unified manner. Moreover, it demonstrates a certain degree of generalization to both diverse skeletal structures and similar motion patterns.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google