pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction

要約

我々は、画像のペアから 3D ガウス プリミティブによってパラメータ化された 3D 放射輝度フィールドを再構成することを学習するフィードフォワード モデルである、pixelSplat を紹介します。
私たちのモデルは、スケーラブルなトレーニングのためのリアルタイムでメモリ効率の高いレンダリングと、推論時の高速 3D 再構成を特徴としています。
疎で局所的にサポートされる表現に固有の極小値を克服するために、3D 上の密な確率分布を予測し、その確率分布からガウス平均をサンプリングします。
このサンプリング操作を再パラメータ化トリックによって微分可能にし、ガウス スプラッティング表現を通じて勾配を逆伝播できるようにします。
私たちは、現実世界の RealEstate10k および ACID データセット上でワイドベースラインの新規ビュー合成に関する手法のベンチマークを行います。この手法では、最先端のライト フィールド トランスフォーマーを上回り、解釈および編集可能な 3D 放射輝度を再構築しながらレンダリングを 2.5 桁高速化します。
分野。

要約(オリジナル)

We introduce pixelSplat, a feed-forward model that learns to reconstruct 3D radiance fields parameterized by 3D Gaussian primitives from pairs of images. Our model features real-time and memory-efficient rendering for scalable training as well as fast 3D reconstruction at inference time. To overcome local minima inherent to sparse and locally supported representations, we predict a dense probability distribution over 3D and sample Gaussian means from that probability distribution. We make this sampling operation differentiable via a reparameterization trick, allowing us to back-propagate gradients through the Gaussian splatting representation. We benchmark our method on wide-baseline novel view synthesis on the real-world RealEstate10k and ACID datasets, where we outperform state-of-the-art light field transformers and accelerate rendering by 2.5 orders of magnitude while reconstructing an interpretable and editable 3D radiance field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google