End-to-end Weakly-supervised Multiple 3D Hand Mesh Reconstruction from Single Image

要約

この論文では、単一の 2D 画像から複数の手を同時に見つけて回復するという困難なタスクについて検討します。
以前の研究では、片手での再建に焦点を当てるか、この問題を多段階で解決しています。
さらに、従来の 2 段階のパイプラインは、最初に手の領域を検出し、次にトリミングされた各パッチから 3D の手の姿勢を推定します。
前処理と特徴抽出における計算の冗長性を減らすために、簡潔で効率的な単一ステージのパイプラインを提案します。
具体的には、マルチハンド再構成用のマルチヘッド オート エンコーダー構造を設計します。各ヘッド ネットワークは同じ特徴マップを共有し、それぞれハンド センター、ポーズ、テクスチャを出力します。
さらに、高価な 3D 現実世界のデータ注釈の負担を軽減するために、弱い教師付きスキームを採用しています。
この目的のために、段階的なトレーニング スキームによって最適化された一連の損失を提案します。ここでは、公開されているシングルハンド データセットに基づいて 2D 注釈付きのマルチハンド データセットが生成されます。
弱い教師ありモデルの精度をさらに向上させるために、シングルハンド設定とマルチハンド設定の両方でいくつかの機能の一貫性の制約を採用しています。
具体的には、ローカル機能から推定された各手のキーポイントは、グローバル機能から予測された再投影ポイントと一致する必要があります。
FreiHAND、HO3D、InterHand2.6M、および RHD を含む公開ベンチマークでの広範な実験は、私たちの方法が、弱い教師ありおよび完全教師ありの方法の両方で最先端のモデルベースの方法よりも優れていることを示しています。
コードとモデルは {\url{https://github.com/zijinxuxu/SMHR}} で入手できます。

要約(オリジナル)

In this paper, we consider the challenging task of simultaneously locating and recovering multiple hands from single 2D image. Previous studies either focus on single hand reconstruction or solve this problem in a multi-stage way. Moreover, the conventional two-stage pipeline firstly detects hand areas, and then estimates 3D hand pose from each cropped patch. To reduce the computational redundancy in preprocessing and feature extraction, we propose a concise but efficient single-stage pipeline. Specifically, we design a multi-head auto-encoder structure for multi-hand reconstruction, where each head network shares the same feature map and outputs the hand center, pose and texture, respectively. Besides, we adopt a weakly-supervised scheme to alleviate the burden of expensive 3D real-world data annotations. To this end, we propose a series of losses optimized by a stage-wise training scheme, where a multi-hand dataset with 2D annotations is generated based on the publicly available single hand datasets. In order to further improve the accuracy of the weakly supervised model, we adopt several feature consistency constraints in both single and multiple hand settings. Specifically, the keypoints of each hand estimated from local features should be consistent with the re-projected points predicted from global features. Extensive experiments on public benchmarks including FreiHAND, HO3D, InterHand2.6M and RHD demonstrate that our method outperforms the state-of-the-art model-based methods in both weakly-supervised and fully-supervised manners. The code and models are available at {\url{https://github.com/zijinxuxu/SMHR}}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google