GraphAvatar: Compact Head Avatars with GNN-Generated 3D Gaussians

要約

任意の視点からフォトリアリスティックなヘッド アバターをレンダリングすることは、仮想現実などのさまざまなアプリケーションにとって重要です。
Neural Radiance Fields (NeRF) に基づいた以前の方法は、素晴らしい結果を達成できますが、忠実性と効率が不足しています。
3D ガウス スプラッティング (3DGS) を使用する最近の方法では、レンダリング品質とリアルタイム パフォーマンスが向上していますが、依然としてかなりのストレージ オーバーヘッドが必要です。
この論文では、グラフ ニューラル ネットワーク (GNN) を利用して頭部アバターの 3D ガウス分布を生成する GraphAvatar と呼ばれるメソッドを紹介します。
具体的には、GraphAvatar は幾何学的 GNN と外観 GNN をトレーニングして、追跡されたメッシュから 3D ガウスの属性を生成します。
したがって、私たちの方法では 3D ガウス分布の代わりに GNN モデルを保存できるため、ストレージのオーバーヘッドがわずか 10MB に大幅に削減されます。
顔追跡エラーの影響を軽減するために、トレーニング中に顔追跡パラメータを調整するための新しいグラフガイド付き最適化モジュールも提供します。
最後に、レンダリング品質を向上させるための後処理用の 3D 対応エンハンサーを導入します。
私たちは、視覚的な忠実性とストレージ消費の点で既存の方法を超える GraphAvatar の利点を実証するために包括的な実験を実施します。
アブレーション研究は、レンダリング品質とモデル サイズの間のトレードオフを明らかにします。
コードは https://github.com/ucwxb/GraphAvatar でリリースされます。

要約(オリジナル)

Rendering photorealistic head avatars from arbitrary viewpoints is crucial for various applications like virtual reality. Although previous methods based on Neural Radiance Fields (NeRF) can achieve impressive results, they lack fidelity and efficiency. Recent methods using 3D Gaussian Splatting (3DGS) have improved rendering quality and real-time performance but still require significant storage overhead. In this paper, we introduce a method called GraphAvatar that utilizes Graph Neural Networks (GNN) to generate 3D Gaussians for the head avatar. Specifically, GraphAvatar trains a geometric GNN and an appearance GNN to generate the attributes of the 3D Gaussians from the tracked mesh. Therefore, our method can store the GNN models instead of the 3D Gaussians, significantly reducing the storage overhead to just 10MB. To reduce the impact of face-tracking errors, we also present a novel graph-guided optimization module to refine face-tracking parameters during training. Finally, we introduce a 3D-aware enhancer for post-processing to enhance the rendering quality. We conduct comprehensive experiments to demonstrate the advantages of GraphAvatar, surpassing existing methods in visual fidelity and storage consumption. The ablation study sheds light on the trade-offs between rendering quality and model size. The code will be released at: https://github.com/ucwxb/GraphAvatar

arxiv情報

提供元, 利用サービス

arxiv.jp, Google