GeomHair: Reconstruction of Hair Strands from Colorless 3D Scans

要約

マルチモーダルヘアオリエンテーション抽出を活用することにより、無色の3Dスキャンから直接髪の鎖を再構築する新しい方法を提案します。
ヘアストランドの再構築は、コンピュータービジョンとグラフィックスの根本的な問題であり、高忠実度のデジタルアバター合成、アニメーション、AR/VRアプリケーションに使用できます。
ただし、生のスキャンデータから髪の毛を正確に回復することは、人間の髪の複雑できめ細かい構造のために困難なままです。
既存の方法は通常、RGBキャプチャに依存しています。RGBキャプチャは、環境に敏感であり、特に挑戦的なヘアスタイルの場合にガイドストランドの方向を抽出するための挑戦的なドメインになる可能性があります。
観察されたジオメトリから純粋に髪を再構築するために、私たちの方法は、スキャンで鋭い表面の特徴を直接見つけ、スキャンシェーディングのレンダリングに適用されるニューラル2Dライン検出器を介して鎖の方向を推定します。
さらに、多様な合成ヘアスキャンで訓練された事前に拡散を組み込み、改善されたノイズスケジュールで改良され、スキャン固有のテキストプロンプトを介して再構築されたコンテンツに適応します。
この監督信号の組み合わせにより、色情報に依存することなく、シンプルと複雑なヘアスタイルの両方を正確に再構築できることを実証します。
さらなる研究を容易にするために、400人の被験者のスキャンから再構築された髪鎖から抽出された詳細な表面ジオメトリを使用して、毛ストランドの最大の公的に利用可能なデータセットであるStrands400を紹介します。

要約(オリジナル)

We propose a novel method that reconstructs hair strands directly from colorless 3D scans by leveraging multi-modal hair orientation extraction. Hair strand reconstruction is a fundamental problem in computer vision and graphics that can be used for high-fidelity digital avatar synthesis, animation, and AR/VR applications. However, accurately recovering hair strands from raw scan data remains challenging due to human hair’s complex and fine-grained structure. Existing methods typically rely on RGB captures, which can be sensitive to the environment and can be a challenging domain for extracting the orientation of guiding strands, especially in the case of challenging hairstyles. To reconstruct the hair purely from the observed geometry, our method finds sharp surface features directly on the scan and estimates strand orientation through a neural 2D line detector applied to the renderings of scan shading. Additionally, we incorporate a diffusion prior trained on a diverse set of synthetic hair scans, refined with an improved noise schedule, and adapted to the reconstructed contents via a scan-specific text prompt. We demonstrate that this combination of supervision signals enables accurate reconstruction of both simple and intricate hairstyles without relying on color information. To facilitate further research, we introduce Strands400, the largest publicly available dataset of hair strands with detailed surface geometry extracted from real-world data, which contains reconstructed hair strands from the scans of 400 subjects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google