Towards Degradation-Robust Reconstruction in Generalizable NeRF

要約

シーン全体にわたる一般化可能ニューラル放射フィールド (GNeRF) は、ソース イメージの深い画像特徴を使用してシーンを表現することにより、シーンごとの最適化を回避する効果的な方法であることが証明されています。
ただし、現実世界への応用の可能性にもかかわらず、ソース画像に存在するさまざまな種類の劣化に対する GNeRF の堅牢性に関する研究は限られています。
このような研究が存在しない主な原因は、劣化に強い一般化可能な NeRF モデルのトレーニングに適した大規模なデータセットが存在しないことにあります。
このギャップに対処し、3D 再構築タスクの劣化堅牢性の調査を容易にするために、複数のレベルのぼかし劣化を特徴とする 1,000 以上の設定からの 50,000 枚の画像で構成される Objaverse Blur Dataset を構築します。
さらに、GNeRF の劣化耐性を強化するための、シンプルでモデルに依存しないモジュールを設計します。
具体的には、提案されたモジュールは、軽量の深度推定器とデノイザーを通じて 3D 対応の特徴を抽出することにより、さまざまな劣化の種類とレベルに対する定量的品質と視覚的品質の両方の点で、GNeRF で一般的なさまざまな方法の改善を示します。
データセットとコードは一般公開されます。

要約(オリジナル)

Generalizable Neural Radiance Field (GNeRF) across scenes has been proven to be an effective way to avoid per-scene optimization by representing a scene with deep image features of source images. However, despite its potential for real-world applications, there has been limited research on the robustness of GNeRFs to different types of degradation present in the source images. The lack of such research is primarily attributed to the absence of a large-scale dataset fit for training a degradation-robust generalizable NeRF model. To address this gap and facilitate investigations into the degradation robustness of 3D reconstruction tasks, we construct the Objaverse Blur Dataset, comprising 50,000 images from over 1000 settings featuring multiple levels of blur degradation. In addition, we design a simple and model-agnostic module for enhancing the degradation robustness of GNeRFs. Specifically, by extracting 3D-aware features through a lightweight depth estimator and denoiser, the proposed module shows improvement on different popular methods in GNeRFs in terms of both quantitative and visual quality over varying degradation types and levels. Our dataset and code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google