MANUS: Markerless Hand-Object Grasp Capture using Articulated 3D Gaussians

要約

手で物体をどのように把持するかを理解することは、ロボット工学や複合現実感などの分野で重要な応用がある。しかし、この困難な問題には、手と物体の接触を正確にモデリングする必要があります。把持をキャプチャするために、既存の手法はスケルトン、メッシュ、またはパラメトリックモデルを使用しますが、これらは不正確な接触をもたらすミスアライメントを引き起こす可能性があります。我々は、多関節3Dガウシアンを用いたマーカーレス手と物体の把持キャプチャ手法であるMANUSを発表する。我々は、3Dガウシアンスプラッティングを拡張し、多関節の手を忠実に表現するための新しい多関節3Dガウシアン表現を構築する。我々の表現はガウスプリミティブを使用するため、手と物体間の接触を効率的かつ正確に推定することができる。最も正確な結果を得るためには、我々の手法は、現在のデータセットが提供しない数十のカメラビューを必要とする。そこで我々は、30以上のシーン、3人の被験者、7M以上のフレームからなる、53台のカメラから見た手と物体の把持を含む新しいデータセット、MANUS-Graspsを構築した。広範な定性的結果に加え、物体から手へのペイント転写を利用した定量的接触評価法においても、我々の手法が他の手法を凌駕することを示す。

要約(オリジナル)

Understanding how we grasp objects with our hands has important applications in areas like robotics and mixed reality. However, this challenging problem requires accurate modeling of the contact between hands and objects. To capture grasps, existing methods use skeletons, meshes, or parametric models that can cause misalignments resulting in inaccurate contacts. We present MANUS, a method for Markerless Hand-Object Grasp Capture using Articulated 3D Gaussians. We build a novel articulated 3D Gaussians representation that extends 3D Gaussian splatting for high-fidelity representation of articulating hands. Since our representation uses Gaussian primitives, it enables us to efficiently and accurately estimate contacts between the hand and the object. For the most accurate results, our method requires tens of camera views that current datasets do not provide. We therefore build MANUS-Grasps, a new dataset that contains hand-object grasps viewed from 53 cameras across 30+ scenes, 3 subjects, and comprising over 7M frames. In addition to extensive qualitative results, we also show that our method outperforms others on a quantitative contact evaluation method that uses paint transfer from the object to the hand.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL