ShapeGraFormer: GraFormer-Based Network for Hand-Object Reconstruction from a Single Depth Map

要約

人間の動作をエミュレートするには、手オブジェクト操作の 3D 再構築が重要です。
困難なオブジェクト操作シナリオを扱うほとんどの手法は、オブジェクトの接触による物理的および運動学的制約を無視して、手を単独で再構築することに重点を置いています。
一部のアプローチでは、3D 手とオブジェクトのインタラクションを共同で再構築することで、より現実的な結果が得られます。
ただし、大まかな姿勢推定に焦点を当てているか、既知の手や物体の形状に依存しています。
我々は、単一の深度マップから現実的な 3D ハンドオブジェクトの形状とポーズを再構築するための最初のアプローチを提案します。
以前の研究とは異なり、私たちのボクセルベースの再構築ネットワークは手とオブジェクトの頂点座標を回帰し、より現実的なインタラクションを再構築します。
さらに、私たちのパイプラインは、ボクセル化された手のオブジェクトの形状を予測し、入力されたボクセル化された深さに 1 対 1 でマッピングします。
その後、位置埋め込みを備えた最近の GraFormer ネットワークを利用して、テンプレート メッシュから形状を再構築することで、手とオブジェクトの形状のグラフの性質を利用します。
さらに、手とオブジェクトのインタラクションに基づいて再構成された形状を改良する別の GraFormer コンポーネントを追加した場合の影響と、より正確なオブジェクトの形状を再構成する機能を示します。
HO-3D および DexYCB データセットに対して広範な評価を実行し、私たちの方法が手による再構成において既存のアプローチを上回り、オブジェクトの妥当な再構成が生成されることを示します。

要約(オリジナル)

3D reconstruction of hand-object manipulations is important for emulating human actions. Most methods dealing with challenging object manipulation scenarios, focus on hands reconstruction in isolation, ignoring physical and kinematic constraints due to object contact. Some approaches produce more realistic results by jointly reconstructing 3D hand-object interactions. However, they focus on coarse pose estimation or rely upon known hand and object shapes. We propose the first approach for realistic 3D hand-object shape and pose reconstruction from a single depth map. Unlike previous work, our voxel-based reconstruction network regresses the vertex coordinates of a hand and an object and reconstructs more realistic interaction. Our pipeline additionally predicts voxelized hand-object shapes, having a one-to-one mapping to the input voxelized depth. Thereafter, we exploit the graph nature of the hand and object shapes, by utilizing the recent GraFormer network with positional embedding to reconstruct shapes from template meshes. In addition, we show the impact of adding another GraFormer component that refines the reconstructed shapes based on the hand-object interactions and its ability to reconstruct more accurate object shapes. We perform an extensive evaluation on the HO-3D and DexYCB datasets and show that our method outperforms existing approaches in hand reconstruction and produces plausible reconstructions for the objects

arxiv情報

提供元, 利用サービス

arxiv.jp, Google