Drivable Avatar Clothing: Faithful Full-Body Telepresence with Dynamic Clothing Driven by Sparse RGB-D Input

要約

衣服は人間の外見の重要な部分ですが、フォトリアリスティックなアバターでモデル化するのは困難です。
この作品では、体と顔の動きだけでなく、まばらな RGB-D 入力によって忠実に駆動できる、動的に動くゆるい服を着たアバターを提示します。
我々は、まばらな深度入力が与えられた場合に、粗い衣服の形状を効率的に追跡できる Neural Iterative Closest Point (N-ICP) アルゴリズムを提案します。
粗い追跡結果が与えられると、入力 RGB-D 画像がテクセルに揃えられた特徴に再マッピングされ、それが運転可能なアバター モデルに入力されて、外観の詳細が忠実に再構築されます。
私たちは、最近のイメージ駆動合成ベースラインに対してメソッドを評価し、N-ICP アルゴリズムの包括的な分析を実施します。
私たちは、高忠実度で忠実な衣服のダイナミクスと外観を生成する能力を維持しながら、私たちの方法が新しいテスト環境に一般化できることを実証します。

要約(オリジナル)

Clothing is an important part of human appearance but challenging to model in photorealistic avatars. In this work we present avatars with dynamically moving loose clothing that can be faithfully driven by sparse RGB-D inputs as well as body and face motion. We propose a Neural Iterative Closest Point (N-ICP) algorithm that can efficiently track the coarse garment shape given sparse depth input. Given the coarse tracking results, the input RGB-D images are then remapped to texel-aligned features, which are fed into the drivable avatar models to faithfully reconstruct appearance details. We evaluate our method against recent image-driven synthesis baselines, and conduct a comprehensive analysis of the N-ICP algorithm. We demonstrate that our method can generalize to a novel testing environment, while preserving the ability to produce high-fidelity and faithful clothing dynamics and appearance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google