COLMAP-Free 3D Gaussian Splatting

要約

ニューラル レンダリングは、シーンの再構築と新しいビューの合成において目覚ましい進歩をもたらしましたが、正確に事前に計算されたカメラのポーズに大きく依存しています。
この制約を緩和するために、前処理されたカメラポーズを使用せずにニューラル放射フィールド (NeRF) をトレーニングするための複数の取り組みが行われてきました。
ただし、NeRF の暗黙的な表現では、3D 構造とカメラのポーズを同時に最適化するための追加の課題が発生します。
一方、最近提案された 3D ガウス スプラッティングは、明示的な点群表現を考慮して新たな機会を提供します。
この論文では、明示的な幾何学的表現と入力ビデオ ストリームの連続性の両方を利用して、SfM 前処理を行わずに新しいビュー合成を実行します。
入力フレームを順次処理し、一度に 1 つの入力フレームを取得することで 3D ガウス セットを段階的に拡大します。カメラのポーズを事前に計算する必要はありません。
私たちの方法は、大きな動きの変化の下でのビュー合成とカメラポーズ推定において、以前のアプローチよりも大幅に改善されています。
私たちのプロジェクトページは https://oasisyang.github.io/colmap-free-3dgs です

要約(オリジナル)

While neural rendering has led to impressive advances in scene reconstruction and novel view synthesis, it relies heavily on accurately pre-computed camera poses. To relax this constraint, multiple efforts have been made to train Neural Radiance Fields (NeRFs) without pre-processed camera poses. However, the implicit representations of NeRFs provide extra challenges to optimize the 3D structure and camera poses at the same time. On the other hand, the recently proposed 3D Gaussian Splatting provides new opportunities given its explicit point cloud representations. This paper leverages both the explicit geometric representation and the continuity of the input video stream to perform novel view synthesis without any SfM preprocessing. We process the input frames in a sequential manner and progressively grow the 3D Gaussians set by taking one input frame at a time, without the need to pre-compute the camera poses. Our method significantly improves over previous approaches in view synthesis and camera pose estimation under large motion changes. Our project page is https://oasisyang.github.io/colmap-free-3dgs

arxiv情報

提供元, 利用サービス

arxiv.jp, Google