Relaxing Accurate Initialization Constraint for 3D Gaussian Splatting

要約

3D ガウス スプラッティング (3DGS) は最近、リアルタイムの新規ビュー合成と 3D 再構成において優れた機能を実証しました。
ただし、3DGS は、Structure-from-Motion (SfM) メソッドから得られる正確な初期化に大きく依存します。
ノイズが存在する場合やランダムに初期化された点群を使用する場合など、初期点群の品質が低下すると、3DGS のパフォーマンスが大幅に低下することがよくあります。
この制限に対処するために、RAIN-GS (Relaing Accurate Initialization Constraint for 3D Gaussian Splatting) と呼ばれる新しい最適化戦略を提案します。
私たちのアプローチは、元の 3DGS 最適化スキームの詳細な分析と、周波数領域での SfM 初期化の分析に基づいています。
RAIN-GS は、分析に基づいた簡単な変更を活用して、次善の点群 (ランダムに初期化された点群など) から 3D ガウスをトレーニングすることに成功し、正確な初期化の必要性を効果的に軽減します。
複数のデータセットの定量的および定性的な比較を通じて戦略の有効性を実証します。ランダムな点群でトレーニングされた RAIN-GS は、正確な SfM 点群でトレーニングされた 3DGS と同等またはそれ以上のパフォーマンスを達成します。
私たちのプロジェクト ページとコードは https://ku-cvlab.github.io/RAIN-GS にあります。

要約(オリジナル)

3D Gaussian splatting (3DGS) has recently demonstrated impressive capabilities in real-time novel view synthesis and 3D reconstruction. However, 3DGS heavily depends on the accurate initialization derived from Structure-from-Motion (SfM) methods. When the quality of the initial point cloud deteriorates, such as in the presence of noise or when using randomly initialized point cloud, 3DGS often undergoes large performance drops. To address this limitation, we propose a novel optimization strategy dubbed RAIN-GS (Relaing Accurate Initialization Constraint for 3D Gaussian Splatting). Our approach is based on an in-depth analysis of the original 3DGS optimization scheme and the analysis of the SfM initialization in the frequency domain. Leveraging simple modifications based on our analyses, RAIN-GS successfully trains 3D Gaussians from sub-optimal point cloud (e.g., randomly initialized point cloud), effectively relaxing the need for accurate initialization. We demonstrate the efficacy of our strategy through quantitative and qualitative comparisons on multiple datasets, where RAIN-GS trained with random point cloud achieves performance on-par with or even better than 3DGS trained with accurate SfM point cloud. Our project page and code can be found at https://ku-cvlab.github.io/RAIN-GS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google