要約
現在のパラメトリック モデルは、3D の手の姿勢と形状の推定において顕著な進歩を遂げています。
ただし、固定された手のトポロジーと複雑な手のポーズのため、現在のモデルでは画像とうまく位置合わせされたメッシュを生成することが困難です。
この問題に取り組むために、この論文では二重ノイズ推定方法を導入します。
シングルビュー画像を入力として与えると、まずベースラインパラメトリックリグレッサーを採用して、粗いハンドメッシュを取得します。
メッシュの頂点とその画像面投影にはノイズが多く、統一された確率モデルで関連付けることができると仮定します。
次に、ノイズの分布を学習して、メッシュの頂点とその投影を調整します。
洗練された頂点は、閉じた形式でカメラ パラメータを洗練するためにさらに利用されます。
その結果、私たちの方法では、適切に位置合わせされた高品質の 3D ハンド メッシュが得られます。
大規模な Interhand2.6M データセットに対する広範な実験により、提案された手法がベースラインのパフォーマンスを 10$\%$ 以上向上させるだけでなく、最先端のパフォーマンスも達成できることが実証されました。
プロジェクト ページ: \url{https://github.com/hanhuili/DNE4Hand}。
要約(オリジナル)
Current parametric models have made notable progress in 3D hand pose and shape estimation. However, due to the fixed hand topology and complex hand poses, current models are hard to generate meshes that are aligned with the image well. To tackle this issue, we introduce a dual noise estimation method in this paper. Given a single-view image as input, we first adopt a baseline parametric regressor to obtain the coarse hand meshes. We assume the mesh vertices and their image-plane projections are noisy, and can be associated in a unified probabilistic model. We then learn the distributions of noise to refine mesh vertices and their projections. The refined vertices are further utilized to refine camera parameters in a closed-form manner. Consequently, our method obtains well-aligned and high-quality 3D hand meshes. Extensive experiments on the large-scale Interhand2.6M dataset demonstrate that the proposed method not only improves the performance of its baseline by more than 10$\%$ but also achieves state-of-the-art performance. Project page: \url{https://github.com/hanhuili/DNE4Hand}.
arxiv情報
| 著者 | Hanhui Li,Xiaojian Lin,Xuan Huang,Zejun Yang,Zhisheng Wang,Xiaodan Liang |
| 発行日 | 2023-12-26 07:21:01+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google