Physically Consistent Humanoid Loco-Manipulation using Latent Diffusion Models

要約

このホワイトペーパーでは、潜在的拡散モデル（LDMS）の機能を使用して、現実的なRGBヒトオブジェクト相互作用シーンを生成して、ヒューマノイド操作計画を導きます。
そのために、生成された画像から、連絡先の場所とロボット構成の両方を抽出し、全身軌跡最適化（to）で使用され、ヒューマノイドの物理的に一貫した軌跡を生成します。
さまざまな長老型操作シナリオのシミュレーションの完全なパイプラインを検証し、提案された連絡先およびロボット構成抽出パイプラインの広範な分析を実行します。
私たちの結果は、LDMSから抽出された情報を使用して、長期の推論を必要とする物理的に一貫した軌道を生成できることを示しています。

要約(オリジナル)

This paper uses the capabilities of latent diffusion models (LDMs) to generate realistic RGB human-object interaction scenes to guide humanoid loco-manipulation planning. To do so, we extract from the generated images both the contact locations and robot configurations that are then used inside a whole-body trajectory optimization (TO) formulation to generate physically consistent trajectories for humanoids. We validate our full pipeline in simulation for different long-horizon loco-manipulation scenarios and perform an extensive analysis of the proposed contact and robot configuration extraction pipeline. Our results show that using the information extracted from LDMs, we can generate physically consistent trajectories that require long-horizon reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google