Fast Global Localization on Neural Radiance Field

要約

ニューラル放射輝度フィールド（NERF）は、シーンを表す新しい方法を提示し、2D画像から高品質の3D再構成を可能にしました。
その驚くべき成果に続いて、NERFマップ内のグローバルなローカリゼーションは、幅広いアプリケーションを可能にするために不可欠なタスクです。
最近、Loc-Nerfは、従来のモンテカルロのローカリゼーションとNERFを組み合わせたローカリゼーションアプローチを実証し、NERFを環境マップとして使用することで有望な結果を示しました。
ただし、その進歩にもかかわらず、Loc-NERFは、時間をかけた光線レンダリングプロセスの課題に遭遇します。これは、実際のアプリケーションの大きな制限となる可能性があります。
この問題に対処するために、より効率的で正確なNERF MAPベースのグローバルローカリゼーションを可能にするために、粗からファインへのアプローチを活用する高速loc-nerfを導入します。
具体的には、高速loc-nerfは、レンダリングされたピクセルと、低解像度から高解像度への多解像度で観測された画像と一致します。
その結果、正確なローカリゼーション結果を維持しながら、高価な粒子更新プロセスをスピードアップします。
さらに、異常な粒子を拒否するために、粒子の拒絶重量を提案します。これは、NERFの特性を活用することにより粒子の不確実性を推定し、粒子の重み付けプロセスでそれらを考慮します。
Fast Loc-nerfは、いくつかのベンチマークで新しい最先端のローカリゼーションパフォーマンスを設定し、その精度と効率を納得させます。

要約(オリジナル)

Neural Radiance Fields (NeRF) presented a novel way to represent scenes, allowing for high-quality 3D reconstruction from 2D images. Following its remarkable achievements, global localization within NeRF maps is an essential task for enabling a wide range of applications. Recently, Loc-NeRF demonstrated a localization approach that combines traditional Monte Carlo Localization with NeRF, showing promising results for using NeRF as an environment map. However, despite its advancements, Loc-NeRF encounters the challenge of a time-intensive ray rendering process, which can be a significant limitation in practical applications. To address this issue, we introduce Fast Loc-NeRF, which leverages a coarse-to-fine approach to enable more efficient and accurate NeRF map-based global localization. Specifically, Fast Loc-NeRF matches rendered pixels and observed images on a multi-resolution from low to high resolution. As a result, it speeds up the costly particle update process while maintaining precise localization results. Additionally, to reject the abnormal particles, we propose particle rejection weighting, which estimates the uncertainty of particles by exploiting NeRF’s characteristics and considers them in the particle weighting process. Our Fast Loc-NeRF sets new state-of-the-art localization performances on several benchmarks, convincing its accuracy and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google