Correspondence-Guided SfM-Free 3D Gaussian Splatting for NVS

要約

Structure-from-Motion (SfM) 前処理カメラ ポーズを使用しない Novel View Synthesis (NVS) (SfM フリー手法と呼ばれる) は、迅速な応答機能を促進し、変動する動作条件に対する堅牢性を強化するために重要です。
最近の SfM フリー手法では姿勢の最適化が統合されており、ジョイント カメラの姿勢推定と NVS のためのエンドツーエンドのフレームワークが設計されています。
ただし、既存の作品のほとんどは、L2 損失などのピクセルごとの画像損失関数に依存しています。
SfM フリーの手法では、初期ポーズが不正確であると位置ずれの問題が発生し、ピクセルごとの画像損失関数の制約のもとで過剰な勾配が生じ、最適化が不安定になり、NVS の収束が低下します。
この研究では、NVS 用の対応ガイド付き SfM フリー 3D ガウス スプラッティングを提案します。
ターゲットとレンダリング結果の間の対応関係を使用して、ピクセルの位置合わせを改善し、フレーム間の相対的な姿勢の最適化を容易にします。
次に、学習したポーズを適用してシーン全体を最適化します。
各 2D スクリーン空間ピクセルは、勾配逆伝播を容易にするために、近似表面レンダリングを通じて対応する 3D ガウスに関連付けられます。
実験結果は、最先端のベースラインと比較して、提案されたアプローチの優れたパフォーマンスと時間効率を強調しています。

要約(オリジナル)

Novel View Synthesis (NVS) without Structure-from-Motion (SfM) pre-processed camera poses–referred to as SfM-free methods–is crucial for promoting rapid response capabilities and enhancing robustness against variable operating conditions. Recent SfM-free methods have integrated pose optimization, designing end-to-end frameworks for joint camera pose estimation and NVS. However, most existing works rely on per-pixel image loss functions, such as L2 loss. In SfM-free methods, inaccurate initial poses lead to misalignment issue, which, under the constraints of per-pixel image loss functions, results in excessive gradients, causing unstable optimization and poor convergence for NVS. In this study, we propose a correspondence-guided SfM-free 3D Gaussian splatting for NVS. We use correspondences between the target and the rendered result to achieve better pixel alignment, facilitating the optimization of relative poses between frames. We then apply the learned poses to optimize the entire scene. Each 2D screen-space pixel is associated with its corresponding 3D Gaussians through approximated surface rendering to facilitate gradient back propagation. Experimental results underline the superior performance and time efficiency of the proposed approach compared to the state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google