MaskHand: Generative Masked Modeling for Robust Hand Mesh Reconstruction in the Wild

要約

単一のRGB画像から3Dハンドメッシュを再構築することは、複雑な関節、自己閉塞、深さのあいまいさのために困難です。
2D画像から単一の3Dメッシュへの決定論的マッピングを学習する従来の識別方法は、多くの場合、2Dから3Dマッピングの固有のあいまいさに苦しんでいます。
この課題に対処するために、あいまいな2D-3Dマッピングプロセスの確率分布から学習とサンプリングにより、もっともらしい3Dハンドメッシュを合成するハンドメッシュ回復のための新しい生成マスクモデルであるMaskhandを提案します。
マスクハンドは、2つの重要なコンポーネントで構成されています。（1）VQ-Mano。これは、潜在空間で離散ポーズトークンとして3Dハンドアーティキュレーションをコードし、（2）トークンをランダムにマスクアウトし、破損したトークンシーケンス、画像のコンテキスト、2Dポーズシューに条件付けられたコンテキストガイド付きマスクされたトランスを調整します。
これにより、学習した分布は、推論中の信頼誘導サンプリングを促進し、不確実性と高精度でメッシュの再構成を生成します。
ベンチマークと現実世界のデータセットに関する広範な評価は、マスクハンドが3Dハンドメッシュ再構成における最先端の精度、堅牢性、およびリアリズムを達成することを示しています。
プロジェクトWebサイト：https：//m-usamasaleem.github.io/publication/maskhand/maskhand.html。

要約(オリジナル)

Reconstructing a 3D hand mesh from a single RGB image is challenging due to complex articulations, self-occlusions, and depth ambiguities. Traditional discriminative methods, which learn a deterministic mapping from a 2D image to a single 3D mesh, often struggle with the inherent ambiguities in 2D-to-3D mapping. To address this challenge, we propose MaskHand, a novel generative masked model for hand mesh recovery that synthesizes plausible 3D hand meshes by learning and sampling from the probabilistic distribution of the ambiguous 2D-to-3D mapping process. MaskHand consists of two key components: (1) a VQ-MANO, which encodes 3D hand articulations as discrete pose tokens in a latent space, and (2) a Context-Guided Masked Transformer that randomly masks out pose tokens and learns their joint distribution, conditioned on corrupted token sequence, image context, and 2D pose cues. This learned distribution facilitates confidence-guided sampling during inference, producing mesh reconstructions with low uncertainty and high precision. Extensive evaluations on benchmark and real-world datasets demonstrate that MaskHand achieves state-of-the-art accuracy, robustness, and realism in 3D hand mesh reconstruction. Project website: https://m-usamasaleem.github.io/publication/MaskHand/MaskHand.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google