PEGASUS: Personalized Generative 3D Avatars with Composable Attributes

要約

PEGASUS は、単眼ビデオ ソースからパーソナライズされた生成 3D 顔アバターを構築する方法を紹介します。
構成生成モデルとして、私たちのモデルは、アイデンティティを維持しながら、対象となる個人の顔の属性 (髪の毛や鼻など) を選択的に変更するための、もつれのない制御を可能にします。
この目標を達成するための 2 つの主要なアプローチを紹介します。
まず、さまざまな顔属性を持つターゲット アイデンティティの合成ビデオ コレクションを構築することで、人物固有の生成 3D アバターを構築する方法を紹介します。ビデオは、他の単眼ビデオからさまざまな個人のパーツを借用して合成されます。
いくつかの実験を通じて、目に見えない属性を高いリアリティで生成することにより、私たちのアプローチの優れたパフォーマンスを実証しました。
続いて、以前に構築されたパーソナライズされた生成モデルを活用して、同じ生成モデリングをより効率的に実現するゼロショット アプローチを導入します。

要約(オリジナル)

We present, PEGASUS, a method for constructing personalized generative 3D face avatars from monocular video sources. As a compositional generative model, our model enables disentangled controls to selectively alter the facial attributes (e.g., hair or nose) of the target individual, while preserving the identity. We present two key approaches to achieve this goal. First, we present a method to construct a person-specific generative 3D avatar by building a synthetic video collection of the target identity with varying facial attributes, where the videos are synthesized by borrowing parts from diverse individuals from other monocular videos. Through several experiments, we demonstrate the superior performance of our approach by generating unseen attributes with high realism. Subsequently, we introduce a zero-shot approach to achieve the same generative modeling more efficiently by leveraging a previously constructed personalized generative model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google