DeSplat: Decomposed Gaussian Splatting for Distractor-Free Rendering

要約

ガウスのスプラッティングにより、静的3D環境での迅速な新規ビューの合成が可能になります。
ただし、配偶者や咬合器が正確な3D再構成に必要なマルチビューの一貫性の仮定を破壊するため、実際の環境の再構築は困難なままです。
ほとんどの既存の方法は、事前に訓練されたモデルからの外部セマンティック情報に依存しており、追加の計算オーバーヘッドを前処理ステップまたは最適化中に導入します。
この作業では、ガウスプリミティブのボリュームレンダリングに基づいて純粋にディストラクタと静的シーン要素を直接分離する新しい方法であるデスプラを提案します。
ビュー固有のディストラクタを再構築するために、各カメラビュー内のガウスの初期化を初期化して、アルファ構成段階の静的3Dシーンとディストラクタを個別にモデル化します。
Desplatは、静的要素とディストラクタの明示的なシーン分離をもたらし、レンダリング速度を犠牲にすることなく、以前のディストラクタフリーのアプローチに匹敵する結果を達成します。
ディストラクタを含まない新規ビューの合成のための3つのベンチマークデータセットでDesplatの有効性を示します。
プロジェクトWebサイトhttps://aaltoml.github.io/desplat/を参照してください。

要約(オリジナル)

Gaussian splatting enables fast novel view synthesis in static 3D environments. However, reconstructing real-world environments remains challenging as distractors or occluders break the multi-view consistency assumption required for accurate 3D reconstruction. Most existing methods rely on external semantic information from pre-trained models, introducing additional computational overhead as pre-processing steps or during optimization. In this work, we propose a novel method, DeSplat, that directly separates distractors and static scene elements purely based on volume rendering of Gaussian primitives. We initialize Gaussians within each camera view for reconstructing the view-specific distractors to separately model the static 3D scene and distractors in the alpha compositing stages. DeSplat yields an explicit scene separation of static elements and distractors, achieving comparable results to prior distractor-free approaches without sacrificing rendering speed. We demonstrate DeSplat’s effectiveness on three benchmark data sets for distractor-free novel view synthesis. See the project website at https://aaltoml.github.io/desplat/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google