DepthSplat: Connecting Gaussian Splatting and Depth

要約

ガウス スプラッティングとシングル/マルチビュー深度推定は通常、単独で研究されます。
この論文では、ガウス スプラッティングと深度推定を接続し、それらの相互作用を研究するための DepthSplat を紹介します。
より具体的には、まず、事前にトレーニングされた単眼深度特徴を活用して、堅牢なマルチビュー深度モデルを提供し、高品質のフィードフォワード 3D ガウス スプラッティング再構築につながります。
また、ガウス スプラッティングが、大規模なラベルなしデータセットから強力な深度モデルを学習するための教師なし事前トレーニング目標として機能することも示します。
広範なアブレーションおよびクロスタスク転送実験を通じて、ガウス スプラッティングと深さ推定の間の相乗効果を検証します。
当社の DepthSplat は、ScanNet、RealEstate10K、および DL3DV データセット上で深度推定と新規ビュー合成の両方の点で最先端のパフォーマンスを達成し、両方のタスクを接続することの相互メリットを実証しています。
私たちのコード、モデル、ビデオ結果は https://haofeixu.github.io/ Depthsplat/ で入手できます。

要約(オリジナル)

Gaussian splatting and single/multi-view depth estimation are typically studied in isolation. In this paper, we present DepthSplat to connect Gaussian splatting and depth estimation and study their interactions. More specifically, we first contribute a robust multi-view depth model by leveraging pre-trained monocular depth features, leading to high-quality feed-forward 3D Gaussian splatting reconstructions. We also show that Gaussian splatting can serve as an unsupervised pre-training objective for learning powerful depth models from large-scale unlabelled datasets. We validate the synergy between Gaussian splatting and depth estimation through extensive ablation and cross-task transfer experiments. Our DepthSplat achieves state-of-the-art performance on ScanNet, RealEstate10K and DL3DV datasets in terms of both depth estimation and novel view synthesis, demonstrating the mutual benefits of connecting both tasks. Our code, models, and video results are available at https://haofeixu.github.io/depthsplat/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google