HiLo: Detailed and Robust 3D Clothed Human Reconstruction with High-and Low-Frequency Information of Parametric Models

要約

3D の衣服を着た人間の再構築には、仮想試着、映画、ゲームに至るまで、さまざまなアプリケーションを使用して、衣服を着た個人の詳細な形状を作成することが含まれます。
実用的で広範なアプリケーションを可能にするために、最近の進歩では、RGB 画像から服を着た人間を生成することが提案されています。
ただし、詳細かつ堅牢なアバターを同時に再構築するのは困難です。
パラメトリック モデルからの高周波 (HF) 情報と低周波 (LF) 情報には、それぞれジオメトリの詳細が強化され、ノイズに対する堅牢性が向上する可能性があることが経験的にわかっています。
これに基づいて、我々は HiLo、すなわち高周波情報と低周波情報による着衣人間再構成を提案します。これには 2 つの要素が含まれます。
1) HF 情報を使用して詳細な形状を復元するために、衣服を着た人間の詳細な 3D 形状を強化するためのプログレッシブ HF 符号付き距離関数を提案します。
私たちの漸進的な学習方法により、モデルの収束を妨げる大きな勾配が緩和されると分析しています。
2) LF 情報を使用してパラメトリック モデルの不正確な推定に対してロバストな再構成を実現するために、空間相互作用陰関数を提案します。
この関数は、パラメトリック モデルの低解像度ボクセル グリッドからの相補的な空間情報を効果的に利用します。
実験結果は、HiLo が Thuman2.0 および CAPE データセットの面取り距離に関して、最先端の方法よりもそれぞれ 10.43% および 9.54% 優れていることを示しています。
さらに、HiLo は、パラメトリック モデルからのノイズ、難しいポーズ、さまざまな服装スタイルに対する堅牢性を示しています。

要約(オリジナル)

Reconstructing 3D clothed human involves creating a detailed geometry of individuals in clothing, with applications ranging from virtual try-on, movies, to games. To enable practical and widespread applications, recent advances propose to generate a clothed human from an RGB image. However, they struggle to reconstruct detailed and robust avatars simultaneously. We empirically find that the high-frequency (HF) and low-frequency (LF) information from a parametric model has the potential to enhance geometry details and improve robustness to noise, respectively. Based on this, we propose HiLo, namely clothed human reconstruction with high- and low-frequency information, which contains two components. 1) To recover detailed geometry using HF information, we propose a progressive HF Signed Distance Function to enhance the detailed 3D geometry of a clothed human. We analyze that our progressive learning manner alleviates large gradients that hinder model convergence. 2) To achieve robust reconstruction against inaccurate estimation of the parametric model by using LF information, we propose a spatial interaction implicit function. This function effectively exploits the complementary spatial information from a low-resolution voxel grid of the parametric model. Experimental results demonstrate that HiLo outperforms the state-of-the-art methods by 10.43% and 9.54% in terms of Chamfer distance on the Thuman2.0 and CAPE datasets, respectively. Additionally, HiLo demonstrates robustness to noise from the parametric model, challenging poses, and various clothing styles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google