M3DHMR: Monocular 3D Hand Mesh Recovery

要約

単眼3Dハンドメッシュの回復は、手の自由度、2Dから3Dのあいまいさ、自己閉鎖により、困難です。
ほとんどの既存の方法は、3Dメッシュの頂点の位置を予測するために非効率的またはそれほど簡単ではありません。
したがって、ハンドメッシュ頂点の位置を直接推定するために、Monocular 3Dハンドメッシュ回復（M3DHMR）と呼ばれる新しいパイプラインを提案します。
M3DHMRは、単一の画像から3Dタスクに2Dキューを提供し、いくつかの動的スパイラル畳み込み（DSC）層と関心のある領域（ROI）層で構成される新しいスパイラルデコーダーを使用します。
一方では、DSCレイヤーは頂点の位置に基づいて重みを適応的に調整し、空間寸法とチャネル寸法の両方で頂点の特徴を抽出します。
一方、ROI層は物理情報を利用し、各事前定義された手領域のメッシュ頂点を個別に洗練します。
一般的なデータセットフレイハンドでの広範な実験は、M3DHMRが最先端のリアルタイム方法を大幅に上回ることを示しています。

要約(オリジナル)

Monocular 3D hand mesh recovery is challenging due to high degrees of freedom of hands, 2D-to-3D ambiguity and self-occlusion. Most existing methods are either inefficient or less straightforward for predicting the position of 3D mesh vertices. Thus, we propose a new pipeline called Monocular 3D Hand Mesh Recovery (M3DHMR) to directly estimate the positions of hand mesh vertices. M3DHMR provides 2D cues for 3D tasks from a single image and uses a new spiral decoder consist of several Dynamic Spiral Convolution (DSC) Layers and a Region of Interest (ROI) Layer. On the one hand, DSC Layers adaptively adjust the weights based on the vertex positions and extract the vertex features in both spatial and channel dimensions. On the other hand, ROI Layer utilizes the physical information and refines mesh vertices in each predefined hand region separately. Extensive experiments on popular dataset FreiHAND demonstrate that M3DHMR significantly outperforms state-of-the-art real-time methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google