GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis

要約

我々は、GPS-Gaussianと呼ばれる、キャラクタの新しいビューをリアルタイムで合成するための新しいアプローチを提示する。提案手法は、スパースビューカメラ設定下で2K解像度のレンダリングを可能にする。被験者ごとの最適化を必要とするオリジナルのガウス・スプラッティング法やニューラル・インプリシット・レンダリング法とは異なり、我々はソース・ビュー上で定義されたガウス・パラメータ・マップを導入し、ガウス・スプラッティングの特性を直接回帰することで、微調整や最適化を行うことなく、即座に新しいビューを合成する。この目的のため、大量の人間のスキャンデータを用いてガウスパラメータ回帰モジュールを訓練し、2Dパラメータマップを3D空間に持ち上げる深度推定モジュールと併用する。提案するフレームワークは完全に微分可能であり、いくつかのデータセットに対する実験により、我々の手法が、レンダリング速度を達成しながら、最先端の手法を上回ることを実証する。

要約(オリジナル)

We present a new approach, termed GPS-Gaussian, for synthesizing novel views of a character in a real-time manner. The proposed method enables 2K-resolution rendering under a sparse-view camera setting. Unlike the original Gaussian Splatting or neural implicit rendering methods that necessitate per-subject optimizations, we introduce Gaussian parameter maps defined on the source views and regress directly Gaussian Splatting properties for instant novel view synthesis without any fine-tuning or optimization. To this end, we train our Gaussian parameter regression module on a large amount of human scan data, jointly with a depth estimation module to lift 2D parameter maps to 3D space. The proposed framework is fully differentiable and experiments on several datasets demonstrate that our method outperforms state-of-the-art methods while achieving an exceeding rendering speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL