AvatarArtist: Open-Domain 4D Avatarization

要約

この作品は、任意のスタイルでポートレートイメージから4Dアバターを作成する目的で、オープンドメイン4Dアバタル化に焦点を当てています。
パラメトリックトリプランは中間4D表現として選択し、生成的敵対的ネットワーク（GANS）と拡散モデルの両方を活用する実用的なトレーニングパラダイムを提案します。
私たちのデザインは、4D GANが監督なしで画像やトリプランを橋渡しすることに優れているが、通常は多様なデータ分布の処理において課題に直面しているという観察から生じています。
堅牢な2D拡散事前の事前は解決策として現れ、GANがさまざまなドメインにわたって専門知識を転送するのを支援します。
これらの専門家間の相乗効果により、一般的な4Dアバター作成者の開発を促進するマルチドメイン画像トリプレンデータセットの構築が可能になります。
広範な実験は、私たちのモデルであるAvatarartistが、さまざまなソース画像ドメインに強い堅牢性を持つ高品質の4Dアバターを生産できることを示唆しています。
コード、データ、モデルは、将来の研究を促進するために公開されます。

要約(オリジナル)

This work focuses on open-domain 4D avatarization, with the purpose of creating a 4D avatar from a portrait image in an arbitrary style. We select parametric triplanes as the intermediate 4D representation and propose a practical training paradigm that takes advantage of both generative adversarial networks (GANs) and diffusion models. Our design stems from the observation that 4D GANs excel at bridging images and triplanes without supervision yet usually face challenges in handling diverse data distributions. A robust 2D diffusion prior emerges as the solution, assisting the GAN in transferring its expertise across various domains. The synergy between these experts permits the construction of a multi-domain image-triplane dataset, which drives the development of a general 4D avatar creator. Extensive experiments suggest that our model, AvatarArtist, is capable of producing high-quality 4D avatars with strong robustness to various source image domains. The code, the data, and the models will be made publicly available to facilitate future studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google