RaFE: Generative Radiance Fields Restoration

要約

NeRF（Neural Radiance Fields）は、新しい視点合成と3D再構成において非常に大きな可能性を示しているが、その性能は入力画像の品質に敏感であり、低品質の疎な入力視点が提供された場合、高忠実度のレンダリングを達成するのに苦労する。これまでのNeRF復元手法は、特定の劣化タイプに合わせたものであり、復元の一般性を無視している。この制限を克服するために、我々は、低解像度、ぼやけ、ノイズ、圧縮アーチファクト、またはそれらの組み合わせなどの様々なタイプの劣化に適用できる、RaFEと名付けられた汎用的な輝度フィールド復元パイプラインを提案する。我々のアプローチは、マルチビュー画像を個別に復元するために、既製の2D復元法の成功を活用する。不一致を平均化することによってぼやけたNeRFを再構成する代わりに、マルチビュー画像に存在する幾何学的不一致や外観的不一致にうまく対応するために、NeRF生成にGenerative Adversarial Networks（GAN）を用いた新しいアプローチを導入する。具体的には、粗いレベルは低品質のNeRFを表現するために固定されたままであり、粗いレベルに追加される細かいレベルの残差三平面は、復元における潜在的なばらつきを捉えるためにGANを用いて分布としてモデル化される。RaFEを様々な復元タスクの合成ケースと実ケースの両方で検証し、定量的・定性的評価の両方で、単一タスクに特化した他の3D復元手法を凌駕する優れた性能を実証する。プロジェクトのウェブサイトhttps://zkaiwu.github.io/RaFE-Project/。

要約(オリジナル)

NeRF (Neural Radiance Fields) has demonstrated tremendous potential in novel view synthesis and 3D reconstruction, but its performance is sensitive to input image quality, which struggles to achieve high-fidelity rendering when provided with low-quality sparse input viewpoints. Previous methods for NeRF restoration are tailored for specific degradation type, ignoring the generality of restoration. To overcome this limitation, we propose a generic radiance fields restoration pipeline, named RaFE, which applies to various types of degradations, such as low resolution, blurriness, noise, compression artifacts, or their combinations. Our approach leverages the success of off-the-shelf 2D restoration methods to recover the multi-view images individually. Instead of reconstructing a blurred NeRF by averaging inconsistencies, we introduce a novel approach using Generative Adversarial Networks (GANs) for NeRF generation to better accommodate the geometric and appearance inconsistencies present in the multi-view images. Specifically, we adopt a two-level tri-plane architecture, where the coarse level remains fixed to represent the low-quality NeRF, and a fine-level residual tri-plane to be added to the coarse level is modeled as a distribution with GAN to capture potential variations in restoration. We validate RaFE on both synthetic and real cases for various restoration tasks, demonstrating superior performance in both quantitative and qualitative evaluations, surpassing other 3D restoration methods specific to single task. Please see our project website https://zkaiwu.github.io/RaFE-Project/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL