Robust 3D Gaussian Splatting for Novel View Synthesis in Presence of Distractors

要約

3D ガウス スプラッティングは、印象的な新しいビュー合成結果を示しました。
それにもかかわらず、静的なシーンの入力データを汚染する動的オブジェクト、いわゆるディストラクターに対して脆弱です。
ディストラクターは、ビュー依存の効果として表されたり、浮遊アーティファクトが発生したりするため、レンダリング品質に重大な影響を与えます。
私たちの目標は、3D ガウス最適化中にそのような気を散らす要因を特定して無視し、きれいな再構成を取得することです。
この目的を達成するために、最適化中に画像の残差を調べて、ディストラクタによって改ざんされた可能性が高い領域を特定する自己教師ありアプローチを採用します。
さらに、事前トレーニング済みのセグメンテーション ネットワークを活用してオブジェクト認識を提供し、注意をそらすものをより正確に排除できるようにします。
このようにして、損失定式化でディストラクタを効果的に無視するためのディストラクタのセグメンテーション マスクを取得します。
私たちのアプローチはさまざまなディストラクタに対して堅牢であり、ディストラクタで汚染されたシーンのレンダリング品質を大幅に向上させ、3D ガウス スプラッティングと比較して PSNR を 1.86dB 改善することを実証します。

要約(オリジナル)

3D Gaussian Splatting has shown impressive novel view synthesis results; nonetheless, it is vulnerable to dynamic objects polluting the input data of an otherwise static scene, so called distractors. Distractors have severe impact on the rendering quality as they get represented as view-dependent effects or result in floating artifacts. Our goal is to identify and ignore such distractors during the 3D Gaussian optimization to obtain a clean reconstruction. To this end, we take a self-supervised approach that looks at the image residuals during the optimization to determine areas that have likely been falsified by a distractor. In addition, we leverage a pretrained segmentation network to provide object awareness, enabling more accurate exclusion of distractors. This way, we obtain segmentation masks of distractors to effectively ignore them in the loss formulation. We demonstrate that our approach is robust to various distractors and strongly improves rendering quality on distractor-polluted scenes, improving PSNR by 1.86dB compared to 3D Gaussian Splatting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google