BimArt: A Unified Approach for the Synthesis of 3D Bimanual Interaction with Articulated Objects

要約

我々は、多関節オブジェクトとの 3D 両手操作を合成するための新しい生成的アプローチである BimArt を紹介します。
以前の研究とは異なり、参照把握、粗い手の軌道、または把握と関節運動のための別個のモードに依存しません。
これを達成するために、まず関節を意識した特徴表現を使用してオブジェクトの軌道に条件付けされた距離ベースの接触マップを生成し、操作のための豊富な両手パターンを明らかにします。
学習された接触事前分布は、ハンド モーション ジェネレーターをガイドするために使用され、オブジェクトの動きと関節動作のための多様で現実的な両手モーションを生成します。
私たちの研究は、多関節オブジェクトの特徴表現と事前接触に関する重要な洞察を提供し、両手による手とオブジェクトの相互作用の複雑な高次元空間を制御する際のそれらの有効性を実証します。
包括的な定量的実験を通じて、モーションの品質と多様性において最先端のものを上回る、簡素化された高品質の手オブジェクト アニメーションに向けた明確な一歩を実証しました。

要約(オリジナル)

We present BimArt, a novel generative approach for synthesizing 3D bimanual hand interactions with articulated objects. Unlike prior works, we do not rely on a reference grasp, a coarse hand trajectory, or separate modes for grasping and articulating. To achieve this, we first generate distance-based contact maps conditioned on the object trajectory with an articulation-aware feature representation, revealing rich bimanual patterns for manipulation. The learned contact prior is then used to guide our hand motion generator, producing diverse and realistic bimanual motions for object movement and articulation. Our work offers key insights into feature representation and contact prior for articulated objects, demonstrating their effectiveness in taming the complex, high-dimensional space of bimanual hand-object interactions. Through comprehensive quantitative experiments, we demonstrate a clear step towards simplified and high-quality hand-object animations that excel over the state-of-the-art in motion quality and diversity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google