DeSplat: Decomposed Gaussian Splatting for Distractor-Free Rendering

要約

ガウス スプラッティングにより、静的な 3D 環境での新しいビューの高速合成が可能になります。
しかし、現実世界の環境を再構成することは、正確な 3D 再構成に必要なマルチビューの一貫性の前提を妨げるものや遮蔽物によって破られるため、依然として困難です。
既存の手法のほとんどは、事前トレーニングされたモデルからの外部セマンティック情報に依存しており、前処理ステップまたは最適化中に追加の計算オーバーヘッドが発生します。
この研究では、純粋にガウス プリミティブのボリューム レンダリングに基づいてディストラクタと静的なシーン要素を直接分離する新しい方法 DeSplat を提案します。
アルファ合成段階で静的な 3D シーンとディストラクタを個別にモデル化するために、ビュー固有のディストラクタを再構築するために各カメラ ビュー内でガウス分布を初期化します。
DeSplat は、静的要素とディストラクタのシーンを明示的に分離し、レンダリング速度を犠牲にすることなく、ディストラクタを使用しない従来のアプローチと同等の結果を達成します。
我々は、気が散るもののない新しいビュー合成のための 3 つのベンチマーク データ セットに対する DeSplat の有効性を実証します。
プロジェクトの Web サイト (https://aaltoml.github.io/desplat/) を参照してください。

要約(オリジナル)

Gaussian splatting enables fast novel view synthesis in static 3D environments. However, reconstructing real-world environments remains challenging as distractors or occluders break the multi-view consistency assumption required for accurate 3D reconstruction. Most existing methods rely on external semantic information from pre-trained models, introducing additional computational overhead as pre-processing steps or during optimization. In this work, we propose a novel method, DeSplat, that directly separates distractors and static scene elements purely based on volume rendering of Gaussian primitives. We initialize Gaussians within each camera view for reconstructing the view-specific distractors to separately model the static 3D scene and distractors in the alpha compositing stages. DeSplat yields an explicit scene separation of static elements and distractors, achieving comparable results to prior distractor-free approaches without sacrificing rendering speed. We demonstrate DeSplat’s effectiveness on three benchmark data sets for distractor-free novel view synthesis. See the project website at https://aaltoml.github.io/desplat/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google