Benchmarking Robustness in Neural Radiance Fields

要約

Neural Radiance Field (NeRF) は、簡潔な定式化で3Dオブジェクトの形状をモデル化する能力により、新規ビュー合成において優れた品質を実証しています。しかし、現在のNeRFに基づくモデルのアプローチは、正確なカメラキャリブレーションを行ったクリーンな画像に依存しており、データが破損したり歪んだりしていることが多い実世界では入手が困難な場合があります。本研究では、様々な種類の破損が存在する中で、NeRFベースの新しいビュー合成アルゴリズムの頑健性について、初めて包括的な分析を行った。 我々は、NeRFベースのモデルは破損の存在下で著しく劣化し、画像認識モデルとは異なる破損の集合に対してより敏感であることを見出した。さらに、畳み込みニューラルネットワークや変換器を介して抽出された神経特徴を用いて画像を合成する一般化可能な手法における特徴エンコーダの頑健性を分析し、頑健性にわずかな寄与しかしていないことを明らかにした。最後に、認識モデルの頑健性を大幅に向上させることができる標準的なデータ補強技術が、NeRFを用いたモデルの頑健性には役立たないことを明らかにしました。私たちは、この研究成果が、NeRFベースのアプローチの頑健性を研究する多くの研究者を引き付け、実世界での性能向上に役立つことを期待しています。

要約(オリジナル)

Neural Radiance Field (NeRF) has demonstrated excellent quality in novel view synthesis, thanks to its ability to model 3D object geometries in a concise formulation. However, current approaches to NeRF-based models rely on clean images with accurate camera calibration, which can be difficult to obtain in the real world, where data is often subject to corruption and distortion. In this work, we provide the first comprehensive analysis of the robustness of NeRF-based novel view synthesis algorithms in the presence of different types of corruptions. We find that NeRF-based models are significantly degraded in the presence of corruption, and are more sensitive to a different set of corruptions than image recognition models. Furthermore, we analyze the robustness of the feature encoder in generalizable methods, which synthesize images using neural features extracted via convolutional neural networks or transformers, and find that it only contributes marginally to robustness. Finally, we reveal that standard data augmentation techniques, which can significantly improve the robustness of recognition models, do not help the robustness of NeRF-based models. We hope that our findings will attract more researchers to study the robustness of NeRF-based approaches and help to improve their performance in the real world.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL