PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting

要約

単一のフィードフォワードでポーズを付けていない画像から新しいビューを合成する問題を検討します。
当社のフレームワークは、高速、スケーラビリティ、3DGS の高品質 3D 再構成およびビュー合成機能を活用しており、それをさらに拡張して、高密度の画像ビュー、正確なカメラのポーズ、および実質的な画像の重複などの一般的な前提を緩和する実用的なソリューションを提供します。
。
私たちは、ピクセル位置合わせされた 3DGS の使用から生じる固有の課題を特定し、それに対処することでこれを実現します。さまざまなビューにわたって位置がずれている 3D ガウスは、特に上記の仮定が満たされない場合、トレーニングを不安定にし、収束を妨げるノイズの多いまたはまばらな勾配を引き起こします。
これを軽減するために、事前トレーニングされた単眼奥行き推定および視覚対応モデルを採用して、3D ガウス分布の大まかな位置合わせを実現します。
次に、大まかな位置合わせから奥行きと姿勢の推定を洗練するための軽量で学習可能なモジュールを導入し、3D 再構成と新しいビュー合成の品質を向上させます。
さらに、洗練された推定値は、3D ガウス中心の信頼性を評価し、それに応じてガウス パラメーターの予測を調整するジオメトリ信頼スコアの推定に利用されます。
大規模な実世界のデータセットに対する広範な評価により、PF3plat がすべてのベンチマークにわたって新しい最先端を確立することが実証され、設計の選択を検証する包括的なアブレーション研究によって裏付けられています。

要約(オリジナル)

We consider the problem of novel view synthesis from unposed images in a single feed-forward. Our framework capitalizes on fast speed, scalability, and high-quality 3D reconstruction and view synthesis capabilities of 3DGS, where we further extend it to offer a practical solution that relaxes common assumptions such as dense image views, accurate camera poses, and substantial image overlaps. We achieve this through identifying and addressing unique challenges arising from the use of pixel-aligned 3DGS: misaligned 3D Gaussians across different views induce noisy or sparse gradients that destabilize training and hinder convergence, especially when above assumptions are not met. To mitigate this, we employ pre-trained monocular depth estimation and visual correspondence models to achieve coarse alignments of 3D Gaussians. We then introduce lightweight, learnable modules to refine depth and pose estimates from the coarse alignments, improving the quality of 3D reconstruction and novel view synthesis. Furthermore, the refined estimates are leveraged to estimate geometry confidence scores, which assess the reliability of 3D Gaussian centers and condition the prediction of Gaussian parameters accordingly. Extensive evaluations on large-scale real-world datasets demonstrate that PF3plat sets a new state-of-the-art across all benchmarks, supported by comprehensive ablation studies validating our design choices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google