Neural Strands: Learning Hair Geometry and Appearance from Multi-View Images

要約

マルチビュー画像入力から正確な髪の形状と外観をモデル化するための新しい学習フレームワークであるNeuralStrandsを紹介します。
学習したヘアモデルは、ビューに依存する忠実度の高い効果を使用して、任意の視点からリアルタイムでレンダリングできます。
私たちのモデルは、ボリュームの対応物とは異なり、直感的な形状とスタイルの制御を実現します。
これらのプロパティを有効にするために、各テクセル位置で個々のストランドのジオメトリと外観をエンコードする神経頭皮テクスチャに基づく新しい髪の表現を提案します。
さらに、学習した髪の毛のラスタライズに基づく新しい神経レンダリングフレームワークを紹介します。
私たちのニューラルレンダリングは、ストランドが正確でアンチエイリアス処理されているため、レンダリングのビューに一貫性があり、フォトリアリスティックになります。
外観とマルチビュージオメトリックプライアを組み合わせることで、マルチビュー設定からの外観と明示的な髪のジオメトリの共同学習が初めて可能になりました。
さまざまなヘアスタイルの忠実度と効率の観点から、私たちのアプローチの有効性を示しています。

要約(オリジナル)

We present Neural Strands, a novel learning framework for modeling accurate hair geometry and appearance from multi-view image inputs. The learned hair model can be rendered in real-time from any viewpoint with high-fidelity view-dependent effects. Our model achieves intuitive shape and style control unlike volumetric counterparts. To enable these properties, we propose a novel hair representation based on a neural scalp texture that encodes the geometry and appearance of individual strands at each texel location. Furthermore, we introduce a novel neural rendering framework based on rasterization of the learned hair strands. Our neural rendering is strand-accurate and anti-aliased, making the rendering view-consistent and photorealistic. Combining appearance with a multi-view geometric prior, we enable, for the first time, the joint learning of appearance and explicit hair geometry from a multi-view setup. We demonstrate the efficacy of our approach in terms of fidelity and efficiency for various hairstyles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google