Distractor-free Generalizable 3D Gaussian Splatting

要約

以前に未開拓の課題に対処する新しいフレームワークであるDGGSを紹介します：$ \ textBf {ディストラクタフリーの一般化可能な3Dガウススプラッティング} $（3DGS）。
クロスセーンの一般化可能な列車設定のディストラクタデータによって引き起こされる3Dの矛盾とトレーニングの不安定性を軽減し、目に見えないシーンの参照から3DGとディストラクタマスクのフィードフォワード推論を可能にします。
これらの目的を達成するために、DGGSは、トレーニングフェーズ中にシーンに依存しない参照ベースのマスク予測と改良モジュールを提案し、トレーニングの安定性に対するディストラクタの影響を効果的に排除します。
さらに、私たちは、耐残りのディストラクタ3DGSプリミティブな影響をさらに除去するディストラクタ剪定メカニズムによって補完された参照スコアリングと再選択のための新しい2段階推論フレームワークを通じて、推論時間にディストラクタによるアーティファクトと穴と戦います。
REALおよび当社の合成データに関する広範なフィードフォワード実験は、新しいディストラクタシーンを扱う際のDGGSの再構成機能を示しています。
さらに、一般化可能なマスク予測は、既存のシーン固有のトレーニング方法よりも優れた精度を達成しています。
ホームページはhttps://github.com/bbbbby-99/dggsです。

要約(オリジナル)

We present DGGS, a novel framework that addresses the previously unexplored challenge: $\textbf{Distractor-free Generalizable 3D Gaussian Splatting}$ (3DGS). It mitigates 3D inconsistency and training instability caused by distractor data in the cross-scenes generalizable train setting while enabling feedforward inference for 3DGS and distractor masks from references in the unseen scenes. To achieve these objectives, DGGS proposes a scene-agnostic reference-based mask prediction and refinement module during the training phase, effectively eliminating the impact of distractor on training stability. Moreover, we combat distractor-induced artifacts and holes at inference time through a novel two-stage inference framework for references scoring and re-selection, complemented by a distractor pruning mechanism that further removes residual distractor 3DGS-primitive influences. Extensive feedforward experiments on the real and our synthetic data show DGGS’s reconstruction capability when dealing with novel distractor scenes. Moreover, our generalizable mask prediction even achieves an accuracy superior to existing scene-specific training methods. Homepage is https://github.com/bbbbby-99/DGGS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google