SiMA-Hand: Boosting 3D Hand-Mesh Reconstruction by Single-to-Multi-View Adaptation

要約

RGB画像から3Dハンドメッシュを推定することは長年の課題であり、その中でオクルージョンは最も困難な問題の一つである。このタスクに対する既存の試みは、オクルージョンが画像空間を支配する場合、しばしば失敗する。本論文では、SiMA-Handを提案し、シングルビューからマルチビューへの適応により、メッシュ再構成性能を向上させることを目指す。まず、画像、関節、頂点レベルでの特徴融合を総合的に採用することで、複数のビューにまたがる情報を融合するマルチビューハンド再構成器を設計する。次に、SiMAを搭載したシングルビューハンドリコンストラクタを紹介する。推論時には1つのビューしか入力としないが、学習時に余分なビューから非オクルージョン知識を学習することで、シングルビュー再構成器の形状と向きの特徴を充実させることができ、オクルージョン領域の再構成精度を向上させることができる。我々は、Dex-YCBとHanCoベンチマークで、困難な物体オクルージョンと自己原因オクルージョンのケースで実験を行い、SiMA-Handが常に最新の技術よりも優れた性能を達成していることを明らかにした。コードは https://github.com/JoyboyWang/SiMA-Hand Pytorchで公開される。

要約(オリジナル)

Estimating 3D hand mesh from RGB images is a longstanding track, in which occlusion is one of the most challenging problems. Existing attempts towards this task often fail when the occlusion dominates the image space. In this paper, we propose SiMA-Hand, aiming to boost the mesh reconstruction performance by Single-to-Multi-view Adaptation. First, we design a multi-view hand reconstructor to fuse information across multiple views by holistically adopting feature fusion at image, joint, and vertex levels. Then, we introduce a single-view hand reconstructor equipped with SiMA. Though taking only one view as input at inference, the shape and orientation features in the single-view reconstructor can be enriched by learning non-occluded knowledge from the extra views at training, enhancing the reconstruction precision on the occluded regions. We conduct experiments on the Dex-YCB and HanCo benchmarks with challenging object- and self-caused occlusion cases, manifesting that SiMA-Hand consistently achieves superior performance over the state of the arts. Code will be released on https://github.com/JoyboyWang/SiMA-Hand Pytorch.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL