Distractor-free Generalizable 3D Gaussian Splatting

要約

我々は、Distractor-free Generalizable 3D Gaussian Splatting (3DGS) というこれまで未踏の課題に対処する新しいフレームワークである DGGS を紹介します。
これは 2 つの重要な目的を達成します。1 つはトレーニング段階と推論段階の両方でディストラクターを含むデータに対して汎用化可能な 3DGS を強化する一方で、クロスシーン適応機能を従来のディストラクターのないアプローチに拡張することに成功しています。
これらの目的を達成するために、DGGS はトレーニング フェーズ中にシーンに依存しない参照ベースのマスク予測と改良方法論を導入し、トレーニング ビュー選択戦略と組み合わせて、ディストラクターの予測精度とトレーニングの安定性を効果的に向上させます。
さらに、推論段階でディストラクタによって引き起こされるボイドとアーティファクトに対処するために、予測されたディストラクタマスクに基づいてより適切な参照選択を行うための 2 段階の推論フレームワークを提案します。これは、残留ディストラクタ効果を排除するディストラクタプルーニングモジュールによって補完されます。
広範な一般化実験により、ディストラクターが多い条件下での DGGS の利点が実証されています。
さらに、実験結果は、シーンに依存しないマスク推論がシーン固有のトレーニングされた方法に匹敵する精度を達成することを示しています。
ホームページは \url{https://github.com/bbbbby-99/DGGS} です。

要約(オリジナル)

We present DGGS, a novel framework addressing the previously unexplored challenge of Distractor-free Generalizable 3D Gaussian Splatting (3DGS). It accomplishes two key objectives: fortifying generalizable 3DGS against distractor-laden data during both training and inference phases, while successfully extending cross-scene adaptation capabilities to conventional distractor-free approaches. To achieve these objectives, DGGS introduces a scene-agnostic reference-based mask prediction and refinement methodology during training phase, coupled with a training view selection strategy, effectively improving distractor prediction accuracy and training stability. Moreover, to address distractor-induced voids and artifacts during inference stage, we propose a two-stage inference framework for better reference selection based on the predicted distractor masks, complemented by a distractor pruning module to eliminate residual distractor effects. Extensive generalization experiments demonstrate DGGS’s advantages under distractor-laden conditions. Additionally, experimental results show that our scene-agnostic mask inference achieves accuracy comparable to scene-specific trained methods. Homepage is \url{https://github.com/bbbbby-99/DGGS}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google