No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images

要約

\textit{unposed} のまばらなマルチビュー画像から 3D ガウスによってパラメータ化された 3D シーンを再構成できるフィードフォワード モデルである NoPoSplat を紹介します。
測光損失のみを使用してトレーニングされた私たちのモデルは、推論中にリアルタイムの 3D ガウス再構築を実現します。
再構築中に正確なポーズ入力の必要性を排除するために、1 つの入力ビューのローカル カメラ座標を正準空間として固定し、この空間内のすべてのビューのガウス プリミティブを予測するようにネットワークをトレーニングします。
このアプローチにより、ガウス プリミティブをローカル座標からグローバル座標系に変換する必要がなくなり、フレームごとのガウスと姿勢推定に関連するエラーが回避されます。
スケールの曖昧さを解決するために、さまざまな固有の埋め込み方法を設計および比較し、最終的にはカメラの組み込みをトークン埋め込みに変換し、それをモデルへの入力として画像トークンと連結することを選択し、正確なシーン スケール予測を可能にします。
再構成された 3D ガウスを新しいビュー合成と姿勢推定タスクに利用し、正確な姿勢推定のための 2 段階の粗密パイプラインを提案します。
実験結果は、ポーズフリーのアプローチが、特に入力画像のオーバーラップが限られているシナリオにおいて、ポーズが必要な方法と比較して優れた新規ビュー合成品質を達成できることを示しています。
姿勢推定に関しては、グラウンド トゥルースの深度や明示的なマッチング損失を使用せずにトレーニングされた私たちの方法は、大幅に改善され、最先端の方法よりも大幅に優れています。
この研究は、ポーズフリーの一般化可能な 3D 再構成において大幅な進歩をもたらし、現実世界のシナリオへの適用可能性を実証します。
コードとトレーニング済みモデルは https://noposplat.github.io/ で入手できます。

要約(オリジナル)

We introduce NoPoSplat, a feed-forward model capable of reconstructing 3D scenes parameterized by 3D Gaussians from \textit{unposed} sparse multi-view images. Our model, trained exclusively with photometric loss, achieves real-time 3D Gaussian reconstruction during inference. To eliminate the need for accurate pose input during reconstruction, we anchor one input view’s local camera coordinates as the canonical space and train the network to predict Gaussian primitives for all views within this space. This approach obviates the need to transform Gaussian primitives from local coordinates into a global coordinate system, thus avoiding errors associated with per-frame Gaussians and pose estimation. To resolve scale ambiguity, we design and compare various intrinsic embedding methods, ultimately opting to convert camera intrinsics into a token embedding and concatenate it with image tokens as input to the model, enabling accurate scene scale prediction. We utilize the reconstructed 3D Gaussians for novel view synthesis and pose estimation tasks and propose a two-stage coarse-to-fine pipeline for accurate pose estimation. Experimental results demonstrate that our pose-free approach can achieve superior novel view synthesis quality compared to pose-required methods, particularly in scenarios with limited input image overlap. For pose estimation, our method, trained without ground truth depth or explicit matching loss, significantly outperforms the state-of-the-art methods with substantial improvements. This work makes significant advances in pose-free generalizable 3D reconstruction and demonstrates its applicability to real-world scenarios. Code and trained models are available at https://noposplat.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google