Learning Disentangled Avatars with Hybrid 3D Representations

要約

アニメーション化可能でフォトリアリスティックな人間のアバターを学習するために、多大な努力が払われてきました。
この目的に向けて、明示的および暗黙的な 3D 表現の両方が、人間全体 (体、衣服、顔、髪など) の全体的なモデリングとキャプチャのために頻繁に研究されていますが、各部分が異なるため、どちらの表現も表現の有効性の観点から最適な選択とは言えません。
人間のアバターにはさまざまなモデリングの要望があります。
たとえば、メッシュは通常、衣服や髪のモデリングには適していません。
これを動機として、明示的と暗示的なハイブリッド 3D 表現で人間をモデル化する Disentangled Avatars~(DELTA) を発表します。
DELTA は単眼の RGB ビデオを入力として受け取り、体と衣服/髪のレイヤーが別々になった人間のアバターを生成します。
具体的には、DELTA の 2 つの重要なアプリケーションを示します。
1 つ目では人体と衣服のもつれを解き、2 つ目では顔と髪のもつれを解きます。
これを行うために、DELTA は体や顔を明示的なメッシュベースのパラメトリック 3D モデルで表現し、衣服や髪を暗黙的な神経放射フィールドで表現します。
これを可能にするために、メッシュをボリュメトリック レンダリングに統合するエンドツーエンドの微分可能なレンダラーを設計し、DELTA が 3D 監視なしで単眼ビデオから直接学習できるようにします。
最後に、これら 2 つのアプリケーションを簡単に組み合わせて全身アバターをモデル化し、髪、顔、体、衣服を完全に解きほぐしながら結合してレンダリングできる方法を示します。
このような絡み合いを解くことで、髪や衣服を任意の体型に転写することが可能になります。
私たちは、DELTA のもつれ解除の有効性を、もつれをほぐした再構成、仮想の衣服の試着、ヘアスタイルの転写における期待できるパフォーマンスを実証することにより、経験的に検証します。
将来の研究を促進するために、ハイブリッド ヒューマン アバター モデリングの研究用のオープンソース パイプラインもリリースします。

要約(オリジナル)

Tremendous efforts have been made to learn animatable and photorealistic human avatars. Towards this end, both explicit and implicit 3D representations are heavily studied for a holistic modeling and capture of the whole human (e.g., body, clothing, face and hair), but neither representation is an optimal choice in terms of representation efficacy since different parts of the human avatar have different modeling desiderata. For example, meshes are generally not suitable for modeling clothing and hair. Motivated by this, we present Disentangled Avatars~(DELTA), which models humans with hybrid explicit-implicit 3D representations. DELTA takes a monocular RGB video as input, and produces a human avatar with separate body and clothing/hair layers. Specifically, we demonstrate two important applications for DELTA. For the first one, we consider the disentanglement of the human body and clothing and in the second, we disentangle the face and hair. To do so, DELTA represents the body or face with an explicit mesh-based parametric 3D model and the clothing or hair with an implicit neural radiance field. To make this possible, we design an end-to-end differentiable renderer that integrates meshes into volumetric rendering, enabling DELTA to learn directly from monocular videos without any 3D supervision. Finally, we show that how these two applications can be easily combined to model full-body avatars, such that the hair, face, body and clothing can be fully disentangled yet jointly rendered. Such a disentanglement enables hair and clothing transfer to arbitrary body shapes. We empirically validate the effectiveness of DELTA’s disentanglement by demonstrating its promising performance on disentangled reconstruction, virtual clothing try-on and hairstyle transfer. To facilitate future research, we also release an open-sourced pipeline for the study of hybrid human avatar modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google