Avat3r: Large Animatable Gaussian Reconstruction Model for High-fidelity 3D Head Avatars

要約

伝統的に、写真リアルな3Dヘッドアバターを作成するには、テスト時間中にスタジオレベルのマルチビューキャプチャセットアップと高価な最適化が必要であり、デジタルヒューマンダブルの使用をVFX業界またはオフラインレンダリングに制限します。
この欠点に対処するために、AVAT3Rを提示します。AVAT3Rは、わずか数の入力画像から高品質でアニメーション可能な3Dヘッドアバターを回帰し、推論中に計算要件を大幅に削減します。
より具体的には、大規模な再構成モデ​​ルをアニメーション化し、大規模なマルチビュービデオデータセットから3D人のヘッドを超えて強力な事前に学習します。
より良い3Dヘッド再構成のために、Dust3Rの位置マップと、Human FoundationモデルのSapiensからの一般化機能マップを採用しています。
3Dヘッドをアニメーション化するために、私たちの重要な発見は、式コードとの単純な相互参加がすでに十分であることです。
最後に、トレーニング中にモデルにさまざまな表現を供給し、一貫性のない入力からの3Dヘッドアバターの再構築を可能にすることにより、堅牢性を高めます。
AVAT3Rを、少数の入力シナリオとシングル入力シナリオの現在の最先端の方法と比較し、両方のタスクでこの方法が競争上の優位性を持っていることがわかります。
最後に、提案されたモデルの幅広い適用性を示し、さまざまなソース、スマートフォンのキャプチャ、単一の画像、さらにはアンティークバストのようなドメイン外の入力の画像から3Dヘッドアバターを作成します。
プロジェクトのウェブサイト：https：//tobias-kirschstein.github.io/avat3r/

要約(オリジナル)

Traditionally, creating photo-realistic 3D head avatars requires a studio-level multi-view capture setup and expensive optimization during test-time, limiting the use of digital human doubles to the VFX industry or offline renderings. To address this shortcoming, we present Avat3r, which regresses a high-quality and animatable 3D head avatar from just a few input images, vastly reducing compute requirements during inference. More specifically, we make Large Reconstruction Models animatable and learn a powerful prior over 3D human heads from a large multi-view video dataset. For better 3D head reconstructions, we employ position maps from DUSt3R and generalized feature maps from the human foundation model Sapiens. To animate the 3D head, our key discovery is that simple cross-attention to an expression code is already sufficient. Finally, we increase robustness by feeding input images with different expressions to our model during training, enabling the reconstruction of 3D head avatars from inconsistent inputs, e.g., an imperfect phone capture with accidental movement, or frames from a monocular video. We compare Avat3r with current state-of-the-art methods for few-input and single-input scenarios, and find that our method has a competitive advantage in both tasks. Finally, we demonstrate the wide applicability of our proposed model, creating 3D head avatars from images of different sources, smartphone captures, single images, and even out-of-domain inputs like antique busts. Project website: https://tobias-kirschstein.github.io/avat3r/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google