Depth Priors in Removal Neural Radiance Fields

要約

Neural Radiance Fields (NeRF) は、3D 再構成と新しいビューの生成において優れた結果を示しています。
NeRF 内の主な課題は、オブジェクトの削除など、再構成されたシーンの編集です。これには、複数のビュー間で一貫性を維持し、高品質の合成パースペクティブを確保する必要があります。
これまでの研究では、NeRF での物体除去のパフォーマンスを向上させるために、通常は LiDAR または COLMAP によって提供される疎な深度測定からの深度事前分布が組み込まれていました。
ただし、これらの方法はコストがかかるか時間がかかります。
この論文では、単眼奥行き推定と NeRF ベースのオブジェクト除去モデルを統合して、時間の消費を大幅に削減し、シーン生成とオブジェクト除去の堅牢性と品質を向上させる新しいアプローチを提案します。
私たちは、深度マップ生成の精度を検証するために、KITTI データセットに対する COLMAP の高密度深度再構成の徹底的な評価を実施しました。
私たちの調査結果は、COLMAP が、そのような情報が欠落していたり​​、入手にコストがかかる場合に、グラウンド トゥルース深度マップの効果的な代替として機能できることを示唆しています。
さらに、さまざまな単眼深度推定方法を除去 NeRF モデル、つまり SpinNeRF に統合し、物体除去パフォーマンスを向上させる能力を評価しました。
私たちの実験結果は、NeRF アプリケーションを大幅に改善する単眼深度推定の可能性を強調しています。

要約(オリジナル)

Neural Radiance Fields (NeRF) have shown impressive results in 3D reconstruction and generating novel views. A key challenge within NeRF is the editing of reconstructed scenes, such as object removal, which requires maintaining consistency across multiple views and ensuring high-quality synthesised perspectives. Previous studies have incorporated depth priors, typically from LiDAR or sparse depth measurements provided by COLMAP, to improve the performance of object removal in NeRF. However, these methods are either costly or time-consuming. In this paper, we propose a novel approach that integrates monocular depth estimates with NeRF-based object removal models to significantly reduce time consumption and enhance the robustness and quality of scene generation and object removal. We conducted a thorough evaluation of COLMAP’s dense depth reconstruction on the KITTI dataset to verify its accuracy in depth map generation. Our findings suggest that COLMAP can serve as an effective alternative to a ground truth depth map where such information is missing or costly to obtain. Additionally, we integrated various monocular depth estimation methods into the removal NeRF model, i.e., SpinNeRF, to assess their capacity to improve object removal performance. Our experimental results highlight the potential of monocular depth estimation to substantially improve NeRF applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google