Neural Haircut: Prior-Guided Strand-Based Hair Reconstruction

要約

画像またはビデオ データを使用してリアルな人間の 3D 再構成を生成することは、さまざまなコミュニケーションおよびエンターテイメント アプリケーションにとって不可欠です。
既存の方法では体や顔の領域では素晴らしい結果が得られましたが、機械的に複雑なため、現実的な髪のモデリングは依然として困難です。
この研究は、制御されていない照明条件で撮影された単眼ビデオまたは多視点画像から毛束レベルで正確な毛髪形状を再構成できるアプローチを提案しています。
私たちの方法には 2 つの段階があり、第 1 段階では、暗黙的な体積表現を使用して、粗い髪とバストの形状と髪の向きの共同再構築を実行します。
次に、第 2 段階では、単一の最適化プロセスで大まかな体積制約と、合成データから学習した髪束およびヘアスタイルの事前条件を調整することにより、髪束レベルの再構成を推定します。
再構成の忠実度をさらに高めるために、新しい微分可能なレンダラーを使用して画像ベースの損失をフィッティング プロセスに組み込みます。
Neural Haircut と名付けられたこの統合システムは、再構築されたヘアスタイルの高いリアリズムとパーソナライゼーションを実現します。

要約(オリジナル)

Generating realistic human 3D reconstructions using image or video data is essential for various communication and entertainment applications. While existing methods achieved impressive results for body and facial regions, realistic hair modeling still remains challenging due to its high mechanical complexity. This work proposes an approach capable of accurate hair geometry reconstruction at a strand level from a monocular video or multi-view images captured in uncontrolled lighting conditions. Our method has two stages, with the first stage performing joint reconstruction of coarse hair and bust shapes and hair orientation using implicit volumetric representations. The second stage then estimates a strand-level hair reconstruction by reconciling in a single optimization process the coarse volumetric constraints with hair strand and hairstyle priors learned from the synthetic data. To further increase the reconstruction fidelity, we incorporate image-based losses into the fitting process using a new differentiable renderer. The combined system, named Neural Haircut, achieves high realism and personalization of the reconstructed hairstyles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google