DyTact: Capturing Dynamic Contacts in Hand-Object Manipulation

要約

AIキャラクタアニメーション、XR、ロボット工学において、手と物体の動的な接触を再現することは、リアルな操作のために不可欠であるが、オクルージョンの多さ、複雑な表面の詳細、既存のキャプチャ技術の限界のために、依然として困難である。本論文では、非侵入的な方法で手とオブジェクトの操作における動的接触を正確にキャプチャするためのマーカーレスキャプチャ手法であるDyTactを紹介する。この手法では、複雑な操作をモデル化するために、2Dガウスサーフェルに基づく動的で多関節な表現を活用します。これらのサーフェルをMANOメッシュに結合することで、DyTactはテンプレートモデルの誘導バイアスを利用し、最適化を安定化・高速化します。精密化モジュールは、時間依存の高周波変形に対応し、接触ガイド適応サンプリング戦略は、接触領域でサーフェルの密度を選択的に増加させ、激しいオクルージョンを処理します。DyTactは、最先端の動的接触推定精度を達成するだけでなく、高速な最適化と効率的なメモリ使用で動作しながら、新規ビュー合成品質を大幅に向上させることが、広範な実験により実証されている。プロジェクトページ: https://oliver-cong02.github.io/DyTact.github.io/ .

要約(オリジナル)

Reconstructing dynamic hand-object contacts is essential for realistic manipulation in AI character animation, XR, and robotics, yet it remains challenging due to heavy occlusions, complex surface details, and limitations in existing capture techniques. In this paper, we introduce DyTact, a markerless capture method for accurately capturing dynamic contact in hand-object manipulations in a non-intrusive manner. Our approach leverages a dynamic, articulated representation based on 2D Gaussian surfels to model complex manipulations. By binding these surfels to MANO meshes, DyTact harnesses the inductive bias of template models to stabilize and accelerate optimization. A refinement module addresses time-dependent high-frequency deformations, while a contact-guided adaptive sampling strategy selectively increases surfel density in contact regions to handle heavy occlusion. Extensive experiments demonstrate that DyTact not only achieves state-of-the-art dynamic contact estimation accuracy but also significantly improves novel view synthesis quality, all while operating with fast optimization and efficient memory usage. Project Page: https://oliver-cong02.github.io/DyTact.github.io/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL