A Construct-Optimize Approach to Sparse View Synthesis without Camera Pose

要約

入力画像の疎な集合から新しいビューを合成することは、特にカメラのポーズがない場合や不正確な場合に、実用上非常に興味深い挑戦的な問題である。カメラのポーズを直接最適化したり、ニューラル放射輝度場アルゴリズムで推定された奥行きを利用したりしても、ポーズと奥行きの間の結合や、単眼的奥行き推定の不正確さのために、通常良い結果は得られない。本論文では、最近の3Dガウススプラッティング法を活用し、カメラポーズを用いないスパースビュー合成のための新しい構築・最適化法を開発する。具体的には、単眼奥行きを利用し、ピクセルを3D世界に投影し直すことにより、解を漸進的に構築する。構築中に、トレーニングビューと対応するレンダリング画像の間の2次元対応を検出することにより、解を最適化する。我々は、カメラの登録と、カメラのポーズと奥行きの両方を調整するための統一された微分可能なパイプラインを開発し、その後にバックプロジェクションを行う。また、ガウシアンスプラッティングにおける期待曲面という新しい概念を導入し、これは我々の最適化にとって重要である。これらのステップにより粗い解を得ることができ、その後、標準的な最適化手法を用いてローパスフィルターをかけ、洗練させることができる。我々は、タンクと寺院と静的ハイキングのデータセットにおいて、3つ程度の広い間隔のビューで結果を実証し、近似的なカメラポーズ情報を用いたものを含む競合手法よりも有意に優れた品質を示す。さらに、我々の結果は、ビューが増えるほど向上し、データセットの半分を使用した場合でも、従来のInstantNGPやガウススプラッティングアルゴリズムを凌駕する。

要約(オリジナル)

Novel view synthesis from a sparse set of input images is a challenging problem of great practical interest, especially when camera poses are absent or inaccurate. Direct optimization of camera poses and usage of estimated depths in neural radiance field algorithms usually do not produce good results because of the coupling between poses and depths, and inaccuracies in monocular depth estimation. In this paper, we leverage the recent 3D Gaussian splatting method to develop a novel construct-and-optimize method for sparse view synthesis without camera poses. Specifically, we construct a solution progressively by using monocular depth and projecting pixels back into the 3D world. During construction, we optimize the solution by detecting 2D correspondences between training views and the corresponding rendered images. We develop a unified differentiable pipeline for camera registration and adjustment of both camera poses and depths, followed by back-projection. We also introduce a novel notion of an expected surface in Gaussian splatting, which is critical to our optimization. These steps enable a coarse solution, which can then be low-pass filtered and refined using standard optimization methods. We demonstrate results on the Tanks and Temples and Static Hikes datasets with as few as three widely-spaced views, showing significantly better quality than competing methods, including those with approximate camera pose information. Moreover, our results improve with more views and outperform previous InstantNGP and Gaussian Splatting algorithms even when using half the dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL