Gaussian Head & Shoulders: High Fidelity Neural Upper Body Avatars with Anchor Gaussian Guided Texture Warping

要約

最新の 3D ガウス スプラッティング表現に頭部 3D モーファブル モデル (3DMM) を装備することで、既存の方法で忠実度の高い頭部アバターを作成できます。
ただし、既存の手法のほとんどは胴体を持たずに頭部のみを再構築するため、応用シナリオが大幅に制限されます。
衣服を着た胸と肩のモデリングに単純にガウスを適用すると、新しいポーズの下で再構成がぼやけたり、ノイズの多い浮遊物が発生したりする傾向があることがわかりました。
これは、ガウスと点群の基本的な制限によるものです。各ガウスまたは点は、空間分散がなければ単一方向の放射輝度のみを持つことができるため、単純なジオメトリであっても、複雑な空間的に変化するテクスチャを表現するには、不必要に多数のガウスまたは点群が必要になります。
対照的に、私たちは、粗いポーズ依存の細かい色で構成されるニューラル テクスチャを使用して身体部分をモデル化することを提案します。
正確なジオメトリや UV マッピングを使用せずに、各ビューとポーズのボディ テクスチャを適切にレンダリングするために、イメージ プレーンの座標をテクスチャ空間にマッピングするニューラル ワーピング フィールドを制限するアンカーとして、別のまばらなガウス セットを最適化します。
ガウス ヘッド & ショルダーが服を着た上半身に高周波のディテールを忠実にフィットさせることができ、頭部領域の精度と忠実度が向上する可能性があることを実証します。
私たちは、電話で撮影した何気ないビデオやインターネットビデオを使って私たちの方法を評価し、私たちの方法が自己再現タスクと相互再現タスクの両方で優れた再構成品質と堅牢性をアーカイブしていることを示します。
ガウス スプラッティングの効率的なレンダリング速度を最大限に活用するために、多層パーセプトロン (MLP) クエリを使用せずにトレーニング済みモデルの高速推論方法をさらに提案し、どのような被写体でも約 130 FPS の安定したレンダリング速度に達します。

要約(オリジナル)

By equipping the most recent 3D Gaussian Splatting representation with head 3D morphable models (3DMM), existing methods manage to create head avatars with high fidelity. However, most existing methods only reconstruct a head without the body, substantially limiting their application scenarios. We found that naively applying Gaussians to model the clothed chest and shoulders tends to result in blurry reconstruction and noisy floaters under novel poses. This is because of the fundamental limitation of Gaussians and point clouds — each Gaussian or point can only have a single directional radiance without spatial variance, therefore an unnecessarily large number of them is required to represent complicated spatially varying texture, even for simple geometry. In contrast, we propose to model the body part with a neural texture that consists of coarse and pose-dependent fine colors. To properly render the body texture for each view and pose without accurate geometry nor UV mapping, we optimize another sparse set of Gaussians as anchors that constrain the neural warping field that maps image plane coordinates to the texture space. We demonstrate that Gaussian Head & Shoulders can fit the high-frequency details on the clothed upper body with high fidelity and potentially improve the accuracy and fidelity of the head region. We evaluate our method with casual phone-captured and internet videos and show our method archives superior reconstruction quality and robustness in both self and cross reenactment tasks. To fully utilize the efficient rendering speed of Gaussian splatting, we additionally propose an accelerated inference method of our trained model without Multi-Layer Perceptron (MLP) queries and reach a stable rendering speed of around 130 FPS for any subjects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google