Density Uncertainty Quantification with NeRF-Ensembles: Impact of Data and Scene Constraints

要約

コンピューター グラフィックス、コンピューター ビジョン、写真測量の分野では、神経放射フィールド (NeRF) が現在の研究開発を推進する主要なトピックです。
ただし、NeRF で生成された 3D シーンの再構成とその後のサーフェスの再構成の品質は、ネットワーク出力、特に密度に大きく依存します。
この重要な側面に関して、平均密度とともに密度の不確実性推定を提供する NeRF アンサンブルを利用することを提案します。
低品質の画像やポーズなどのデータ制約がトレーニング プロセスの低下、密度の不確実性の増加、予測密度の低下につながることを実証します。
高品質の入力データであっても、密度の不確実性は、取得コンスタレーション、オクルージョン、マテリアル特性などのシーンの制約に基づいて変化します。
NeRF-Ensembles は、不確実性を定量化するツールを提供するだけでなく、堅牢性の強化とアーティファクトの除去という 2 つの有望な利点を示します。
単一の NeRF の代わりに NeRF アンサンブルを利用することにより、小さな外れ値が除去され、構造の完全性が向上したより滑らかな出力が得られます。
さらに、密度不確実性の外れ値にパーセンタイルベースのしきい値を適用すると、後処理で大きな（霧の）アーティファクトを除去するのに効果的であることが証明されています。
私たちは 3 つの異なるデータセットに対して方法論を実行します: (i) 合成ベンチマーク データセット、(ii) 実際のベンチマーク データセット、(iii) 現実的な記録条件およびセンサーの下での実際のデータ。

要約(オリジナル)

In the fields of computer graphics, computer vision and photogrammetry, Neural Radiance Fields (NeRFs) are a major topic driving current research and development. However, the quality of NeRF-generated 3D scene reconstructions and subsequent surface reconstructions, heavily relies on the network output, particularly the density. Regarding this critical aspect, we propose to utilize NeRF-Ensembles that provide a density uncertainty estimate alongside the mean density. We demonstrate that data constraints such as low-quality images and poses lead to a degradation of the training process, increased density uncertainty and decreased predicted density. Even with high-quality input data, the density uncertainty varies based on scene constraints such as acquisition constellations, occlusions and material properties. NeRF-Ensembles not only provide a tool for quantifying the uncertainty but exhibit two promising advantages: Enhanced robustness and artifact removal. Through the utilization of NeRF-Ensembles instead of single NeRFs, small outliers are removed, yielding a smoother output with improved completeness of structures. Furthermore, applying percentile-based thresholds on density uncertainty outliers proves to be effective for the removal of large (foggy) artifacts in post-processing. We conduct our methodology on 3 different datasets: (i) synthetic benchmark dataset, (ii) real benchmark dataset, (iii) real data under realistic recording conditions and sensors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google