Disentangled Clothed Avatar Generation with Layered Representation

要約

服を着たアバターの生成は、仮想現実や拡張現実、映画製作などに幅広く応用できます。
これまでの方法は、多様なデジタル アバターの生成に成功してきましたが、もつれのないコンポーネント (体、髪、衣服など) を含むアバターを生成することは長年の課題でした。
この論文では、コンポーネントを解きほぐした服を着たアバターを生成するための最初のフィードフォワード拡散ベースの方法である LayerAvatar を提案します。
これを実現するために、まず階層化された UV フィーチャ平面表現を提案します。この表現では、コンポーネントが対応するセマンティック ラベルとともにガウスベースの UV フィーチャ平面の異なるレイヤーに分散されます。
この表現は、高解像度のリアルタイム レンダリングだけでなく、制御可能なジェスチャや表情などの表現力豊かなアニメーションもサポートしています。
適切に設計された表現に基づいて、一段階拡散モデルをトレーニングし、人体の最も内側の層の深刻なオクルージョン問題に対処するための制約項を導入します。
広範な実験により、もつれの解けた服を着たアバターを生成する際の私たちの方法の優れたパフォーマンスが実証され、コンポーネント転送におけるその応用をさらに調査します。
プロジェクト ページは https://olivia23333.github.io/LayerAvatar/ から入手できます。

要約(オリジナル)

Clothed avatar generation has wide applications in virtual and augmented reality, filmmaking, and more. Previous methods have achieved success in generating diverse digital avatars, however, generating avatars with disentangled components (\eg, body, hair, and clothes) has long been a challenge. In this paper, we propose LayerAvatar, the first feed-forward diffusion-based method for generating component-disentangled clothed avatars. To achieve this, we first propose a layered UV feature plane representation, where components are distributed in different layers of the Gaussian-based UV feature plane with corresponding semantic labels. This representation supports high-resolution and real-time rendering, as well as expressive animation including controllable gestures and facial expressions. Based on the well-designed representation, we train a single-stage diffusion model and introduce constrain terms to address the severe occlusion problem of the innermost human body layer. Extensive experiments demonstrate the impressive performances of our method in generating disentangled clothed avatars, and we further explore its applications in component transfer. The project page is available at: https://olivia23333.github.io/LayerAvatar/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google