NeuWigs: A Neural Dynamic Model for Volumetric Hair Capture and Animation

要約

人間の髪の毛のキャプチャとアニメーションは、バーチャル リアリティ用のリアルなアバターを作成する際の 2 つの主要な課題です。
髪は複雑な形状と外観を持ち、難しい動きを示すため、どちらの問題も非常に困難です。
このホワイト ペーパーでは、データ駆動型の方法でこれらの課題に対処するために、頭髪から独立して髪をモデル化する 2 段階のアプローチを紹介します。
最初の段階である状態圧縮では、新しいトラッカーとしてのオートエンコーダー戦略を介して、動きと外観を含む 3D 髪の状態の低次元潜在空間を学習します。
外観学習で髪と頭をよりよくほぐすために、微分可能なボリューム レンダラーと組み合わせてマルチビュー ヘア セグメンテーション マスクを使用します。
第 2 段階では、発見された潜在コードに基づいて一時的な毛髪の移動を実行する新しい毛髪ダイナミクス モデルを学習します。
ダイナミクス モデルを駆動しながら高い安定性を確保するために、圧縮段階から 3D ポイント クラウド オートエンコーダーを使用して髪の状態のノイズを除去します。
私たちのモデルは、斬新なビュー合成で最先端技術を凌駕し、駆動信号として髪の観察に頼ることなく、斬新な髪のアニメーションを作成することができます。
プロジェクトページはこちら https://ziyanw1.github.io/neuwigs/.

要約(オリジナル)

The capture and animation of human hair are two of the major challenges in the creation of realistic avatars for the virtual reality. Both problems are highly challenging, because hair has complex geometry and appearance, as well as exhibits challenging motion. In this paper, we present a two-stage approach that models hair independently from the head to address these challenges in a data-driven manner. The first stage, state compression, learns a low-dimensional latent space of 3D hair states containing motion and appearance, via a novel autoencoder-as-a-tracker strategy. To better disentangle the hair and head in appearance learning, we employ multi-view hair segmentation masks in combination with a differentiable volumetric renderer. The second stage learns a novel hair dynamics model that performs temporal hair transfer based on the discovered latent codes. To enforce higher stability while driving our dynamics model, we employ the 3D point-cloud autoencoder from the compression stage for de-noising of the hair state. Our model outperforms the state of the art in novel view synthesis and is capable of creating novel hair animations without having to rely on hair observations as a driving signal. Project page is here https://ziyanw1.github.io/neuwigs/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google