GASP: Gaussian Avatars with Synthetic Priors

要約

ガウス スプラッティングは、リアルタイムの写真のようにリアルなレンダリングのゲームを変えました。
ガウス スプラッティングの最も人気のあるアプリケーションの 1 つは、ガウス アバターとして知られるアニメーション可能なアバターを作成することです。
最近の作品は品質とレンダリング効率の限界を押し広げていますが、2 つの主な制限に悩まされています。
フリービュー レンダリングでアバターを作成するには高価なマルチカメラ リグが必要か、単一のカメラでトレーニングできますが、この固定視点でのみ高品質でレンダリングされるかのどちらかです。
理想的なモデルは、Web カメラなどの利用可能なハードウェアからの短い単眼ビデオまたは画像を使用してトレーニングされ、任意のビューからレンダリングされます。
この目的を達成するために、私たちは GASP: 合成事前分布を備えたガウス アバターを提案します。
既存のデータセットの制限を克服するために、合成データのピクセルパーフェクトな性質を利用して、ガウス アバターを事前にトレーニングします。
この以前のモデルを 1 つの写真またはビデオに適合させ、微調整することで、360$^\circ$ レンダリングをサポートする高品質のガウス アバターが得られます。
事前分布は推論ではなくフィッティングにのみ必要であり、リアルタイム アプリケーションを可能にします。
私たちの方法により、市販のハードウェアで 70fps でアニメーション化およびレンダリングできる、限られたデータから高品質でアニメーション化可能なアバターを取得します。
結果については、プロジェクト ページ (https://microsoft.github.io/GASP/) を参照してください。

要約(オリジナル)

Gaussian Splatting has changed the game for real-time photo-realistic rendering. One of the most popular applications of Gaussian Splatting is to create animatable avatars, known as Gaussian Avatars. Recent works have pushed the boundaries of quality and rendering efficiency but suffer from two main limitations. Either they require expensive multi-camera rigs to produce avatars with free-view rendering, or they can be trained with a single camera but only rendered at high quality from this fixed viewpoint. An ideal model would be trained using a short monocular video or image from available hardware, such as a webcam, and rendered from any view. To this end, we propose GASP: Gaussian Avatars with Synthetic Priors. To overcome the limitations of existing datasets, we exploit the pixel-perfect nature of synthetic data to train a Gaussian Avatar prior. By fitting this prior model to a single photo or video and fine-tuning it, we get a high-quality Gaussian Avatar, which supports 360$^\circ$ rendering. Our prior is only required for fitting, not inference, enabling real-time application. Through our method, we obtain high-quality, animatable Avatars from limited data which can be animated and rendered at 70fps on commercial hardware. See our project page (https://microsoft.github.io/GASP/) for results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google