BimArt: A Unified Approach for the Synthesis of 3D Bimanual Interaction with Articulated Objects

要約

Bimartを提示します。Bimartは、関節オブジェクトとの3D双方向の手相互作用を合成するための新しい生成アプローチです。
以前の作品とは異なり、参照の把握、粗い手の軌跡、または把握して明確にするための個別のモードに依存しません。
これを達成するために、まず、明確な特徴表現を備えたオブジェクトの軌跡に条件付けられた距離ベースのコンタクトマップを生成し、操作のための豊富な両マニュアルパターンを明らかにします。
次に、学習した連絡先を使用して、ハンドモーションジェネレーターを導き、オブジェクトの動きと明確化のための多様で現実的な双近の動きを生成します。
私たちの作品は、明確なオブジェクトの特徴表現と連絡先に関する重要な洞察を提供し、両手手オブジェクト相互作用の複雑で高次元の空間を飼いならす有効性を示しています。
包括的な定量的実験を通じて、動きの質と多様性における最先端を上回る簡略化された高品質のハンドオブジェクトアニメーションへの明確なステップを示します。
プロジェクトページ：https：//vcai.mpi-inf.mpg.de/projects/bimart/。

要約(オリジナル)

We present BimArt, a novel generative approach for synthesizing 3D bimanual hand interactions with articulated objects. Unlike prior works, we do not rely on a reference grasp, a coarse hand trajectory, or separate modes for grasping and articulating. To achieve this, we first generate distance-based contact maps conditioned on the object trajectory with an articulation-aware feature representation, revealing rich bimanual patterns for manipulation. The learned contact prior is then used to guide our hand motion generator, producing diverse and realistic bimanual motions for object movement and articulation. Our work offers key insights into feature representation and contact prior for articulated objects, demonstrating their effectiveness in taming the complex, high-dimensional space of bimanual hand-object interactions. Through comprehensive quantitative experiments, we demonstrate a clear step towards simplified and high-quality hand-object animations that surpass the state of the art in motion quality and diversity. Project page: https://vcai.mpi-inf.mpg.de/projects/bimart/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google