Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo

要約

我々は、見えないシーンを効率的に再構築できる、マルチビュー ステレオ (MVS) から派生した新しい一般化可能な 3D ガウス表現アプローチである MVSGaussian を紹介します。
具体的には、1) MVS を活用して、ジオメトリを認識したガウス表現をエンコードし、ガウス パラメータにデコードします。
2) パフォーマンスをさらに向上させるために、新しいビュー合成のための効率的なボリューム レンダリング設計を統合するハイブリッド ガウス レンダリングを提案します。
3) 特定のシーンの高速微調整をサポートするために、シーンごとの最適化の初期化として機能する、一般化可能なモデルによって生成された点群を効果的に集約するマルチビューの幾何学的に一貫した集約戦略を導入します。
通常、イメージごとに数分の微調整と数秒のレンダリングを必要とする以前の一般化可能な NeRF ベースの手法と比較して、MVSGaussian は各シーンの合成品質が向上したリアルタイム レンダリングを実現します。
バニラ 3D-GS と比較して、MVSGaussian はより少ないトレーニング計算コストでより優れたビュー合成を実現します。
DTU、Real Forward-facing、NeRF Synthetic、および Tanks and Temples データセットに関する広範な実験により、MVSGaussian が説得力のある一般化可能性、リアルタイムのレンダリング速度、およびシーンごとの高速な最適化を備えた最先端のパフォーマンスを達成していることが検証されています。

要約(オリジナル)

We present MVSGaussian, a new generalizable 3D Gaussian representation approach derived from Multi-View Stereo (MVS) that can efficiently reconstruct unseen scenes. Specifically, 1) we leverage MVS to encode geometry-aware Gaussian representations and decode them into Gaussian parameters. 2) To further enhance performance, we propose a hybrid Gaussian rendering that integrates an efficient volume rendering design for novel view synthesis. 3) To support fast fine-tuning for specific scenes, we introduce a multi-view geometric consistent aggregation strategy to effectively aggregate the point clouds generated by the generalizable model, serving as the initialization for per-scene optimization. Compared with previous generalizable NeRF-based methods, which typically require minutes of fine-tuning and seconds of rendering per image, MVSGaussian achieves real-time rendering with better synthesis quality for each scene. Compared with the vanilla 3D-GS, MVSGaussian achieves better view synthesis with less training computational cost. Extensive experiments on DTU, Real Forward-facing, NeRF Synthetic, and Tanks and Temples datasets validate that MVSGaussian attains state-of-the-art performance with convincing generalizability, real-time rendering speed, and fast per-scene optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google