MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images

要約

我々は、まばらな多視点画像から学習された効率的なフィードフォワード 3D ガウス スプラッティング モデルである MVSplat を提案します。
ガウス中心を正確に位置特定するために、3D 空間での平面スイープを介してコスト ボリューム表現を構築することを提案します。コスト ボリュームに保存されたビュー間の特徴の類似性が、深度の推定に貴重なジオメトリの手がかりを提供できます。
測光監視のみに依存しながら、ガウス プリミティブの不透明度、共分散、球面調和係数をガウス センターと共同で学習します。
広範な実験評価を通じて、フィードフォワード ガウス スプラッティング モデルの学習におけるコスト ボリューム表現の重要性を実証します。
大規模な RealEstate10K および ACID ベンチマークでは、私たちのモデルは最速のフィードフォワード推論速度 (22 fps) で最先端のパフォーマンスを実現します。
最新の最先端のメソッドPixelSplatと比較して、私たちのモデルは$10\times$少ないパラメータを使用し、$2\times$以上速く推論しながら、より高い外観とジオメトリの品質、およびより優れたデータセット間の汎化を提供します。

要約(オリジナル)

We propose MVSplat, an efficient feed-forward 3D Gaussian Splatting model learned from sparse multi-view images. To accurately localize the Gaussian centers, we propose to build a cost volume representation via plane sweeping in the 3D space, where the cross-view feature similarities stored in the cost volume can provide valuable geometry cues to the estimation of depth. We learn the Gaussian primitives’ opacities, covariances, and spherical harmonics coefficients jointly with the Gaussian centers while only relying on photometric supervision. We demonstrate the importance of the cost volume representation in learning feed-forward Gaussian Splatting models via extensive experimental evaluations. On the large-scale RealEstate10K and ACID benchmarks, our model achieves state-of-the-art performance with the fastest feed-forward inference speed (22 fps). Compared to the latest state-of-the-art method pixelSplat, our model uses $10\times $ fewer parameters and infers more than $2\times$ faster while providing higher appearance and geometry quality as well as better cross-dataset generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google