MANUS: Markerless Grasp Capture using Articulated 3D Gaussians

要約

私たちが手で物体をつかむ方法を理解することは、ロボット工学や複合現実などの分野で重要な応用が可能です。
ただし、この困難な問題には、手と物体の接触を正確にモデリングする必要があります。
把握をキャプチャするために、既存の方法ではスケルトン、メッシュ、またはパラメトリック モデルが使用されていますが、これらは手の形状を正確に表しておらず、接触が不正確になります。
多関節 3D ガウスを使用したマーカーレスハンドオブジェクト把握キャプチャ手法 MANUS を紹介します。
私たちは、関節のある手の高忠実度表現のために 3D ガウス スプラッティングを拡張する、新しい関節のある 3D ガウス表現を構築します。
私たちの表現ではガウス プリミティブを使用しているため、手と物体の接触を効率的かつ正確に推定できます。
最も正確な結果を得るには、私たちの方法では現在のデータセットでは提供できない数十のカメラ ビューが必要です。
したがって、30 以上のシーン、3 つの被写体にわたって 50 以上のカメラから表示され、700 万以上のフレームで構成される手のオブジェクトの把握を含む新しいデータセットである MANUS-Grasps を構築します。
広範な定性的結果に加えて、物体から手への塗料の転写を使用する定量的な接触評価方法において、私たちの方法が他の方法よりも優れていることも示します。

要約(オリジナル)

Understanding how we grasp objects with our hands has important applications in areas like robotics and mixed reality. However, this challenging problem requires accurate modeling of the contact between hands and objects. To capture grasps, existing methods use skeletons, meshes, or parametric models that does not represent hand shape accurately resulting in inaccurate contacts. We present MANUS, a method for Markerless Hand-Object Grasp Capture using Articulated 3D Gaussians. We build a novel articulated 3D Gaussians representation that extends 3D Gaussian splatting for high-fidelity representation of articulating hands. Since our representation uses Gaussian primitives, it enables us to efficiently and accurately estimate contacts between the hand and the object. For the most accurate results, our method requires tens of camera views that current datasets do not provide. We therefore build MANUS-Grasps, a new dataset that contains hand-object grasps viewed from 50+ cameras across 30+ scenes, 3 subjects, and comprising over 7M frames. In addition to extensive qualitative results, we also show that our method outperforms others on a quantitative contact evaluation method that uses paint transfer from the object to the hand.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google