RANRAC: Robust Neural Scene Representations via Random Ray Consensus

要約

ニューラル放射輝度フィールドやライト フィールド ネットワークなどの学習ベースのシーン表現は、シーン モデルを画像観察に適合させることに依存しており、オクルージョン、不正確に推定されたカメラ パラメータ、またはレンズ フレアなどの効果によって引き起こされる画像内の不一致が存在する場合、一般に課題に直面します。
。
この課題に対処するために、一貫性のないデータの影響を排除する効率的なアプローチである RANdom RAy Consensus (RANRAC) を導入します。これにより、モデル フィッティングのための古典的な RANSAC ベースの外れ値検出からインスピレーションを得ています。
堅牢な損失定式化に基づいて外れ値の影響を軽減するのとは対照的に、私たちのアプローチは一貫性のない視点を確実に検出して除外し、浮遊アーティファクトのないクリーンな画像をもたらします。
この目的のために、RANSAC パラダイムのファジー適応を定式化し、大規模モデルへの適用を可能にします。
最小数のサンプルを解釈して、調整可能なハイパーパラメーターとしてモデル パラメーターを決定し、データ駆動型モデルによる仮説の生成を調査し、ノイズの多い環境での仮説の検証を分析します。
私たちは、神経放射輝度場に基づく現実世界の画像からのフォトリアリスティックな堅牢なマルチビュー再構成と、ライトフィールド ネットワークに基づくシングルショット再構成の両方に対するソリューションの互換性と可能性を実証します。
特に、この結果は、オクルージョン、ノイズの多いカメラポーズ推定、焦点の合っていない視点など、さまざまな不一致を伴う合成シーンとキャプチャされたシーンの両方での新規ビュー合成において、最先端の堅牢な手法と比較して大幅な改善が見られることを示しています。
この結果はさらに、遮蔽された画像からのシングルショット再構成が大幅に改善されたことを示しています。
プロジェクトページ：https://bennobuschmann.com/ranrac/

要約(オリジナル)

Learning-based scene representations such as neural radiance fields or light field networks, that rely on fitting a scene model to image observations, commonly encounter challenges in the presence of inconsistencies within the images caused by occlusions, inaccurately estimated camera parameters or effects like lens flare. To address this challenge, we introduce RANdom RAy Consensus (RANRAC), an efficient approach to eliminate the effect of inconsistent data, thereby taking inspiration from classical RANSAC based outlier detection for model fitting. In contrast to the down-weighting of the effect of outliers based on robust loss formulations, our approach reliably detects and excludes inconsistent perspectives, resulting in clean images without floating artifacts. For this purpose, we formulate a fuzzy adaption of the RANSAC paradigm, enabling its application to large scale models. We interpret the minimal number of samples to determine the model parameters as a tunable hyperparameter, investigate the generation of hypotheses with data-driven models, and analyze the validation of hypotheses in noisy environments. We demonstrate the compatibility and potential of our solution for both photo-realistic robust multi-view reconstruction from real-world images based on neural radiance fields and for single-shot reconstruction based on light-field networks. In particular, the results indicate significant improvements compared to state-of-the-art robust methods for novel-view synthesis on both synthetic and captured scenes with various inconsistencies including occlusions, noisy camera pose estimates, and unfocused perspectives. The results further indicate significant improvements for single-shot reconstruction from occluded images. Project Page: https://bennobuschmann.com/ranrac/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google