Fast Global Localization on Neural Radiance Field

要約

Neural Radiance Fields (NeRF) は、シーンを表現する新しい方法を提供し、2D 画像から高品質の 3D 再構成を可能にしました。
その目覚ましい成果を受けて、NeRF マップ内でのグローバルな位置特定は、幅広いアプリケーションを可能にするために不可欠なタスクです。
最近、Loc-NeRF は、従来のモンテカルロ位置推定と NeRF を組み合わせた位置推定アプローチを実証し、NeRF を環境マップとして使用する有望な結果を示しました。
ただし、その進歩にもかかわらず、Loc-NeRF は時間のかかるレイ レンダリング プロセスという課題に直面しており、これが実際のアプリケーションでは重大な制限となる可能性があります。
この問題に対処するために、Fast Loc-NeRF を導入します。これは、粗いものから細かいものへのアプローチを活用して、より効率的かつ正確な NeRF マップベースのグローバル ローカリゼーションを可能にします。
具体的には、Fast Loc-NeRF は、低解像度から高解像度までの多重解像度でレンダリングされたピクセルと観察画像を照合します。
その結果、正確な位置特定結果を維持しながら、コストのかかるパーティクル更新プロセスが高速化されます。
さらに、異常粒子を除去するために、NeRF の特性を利用して粒子の不確実性を推定し、粒子の重み付け処理で考慮する粒子除去重み付けを提案します。
当社の Fast Loc-NeRF は、いくつかのベンチマークで新しい最先端の位置特定パフォーマンスを設定し、その精度と効率性を確信しています。

要約(オリジナル)

Neural Radiance Fields (NeRF) presented a novel way to represent scenes, allowing for high-quality 3D reconstruction from 2D images. Following its remarkable achievements, global localization within NeRF maps is an essential task for enabling a wide range of applications. Recently, Loc-NeRF demonstrated a localization approach that combines traditional Monte Carlo Localization with NeRF, showing promising results for using NeRF as an environment map. However, despite its advancements, Loc-NeRF encounters the challenge of a time-intensive ray rendering process, which can be a significant limitation in practical applications. To address this issue, we introduce Fast Loc-NeRF, which leverages a coarse-to-fine approach to enable more efficient and accurate NeRF map-based global localization. Specifically, Fast Loc-NeRF matches rendered pixels and observed images on a multi-resolution from low to high resolution. As a result, it speeds up the costly particle update process while maintaining precise localization results. Additionally, to reject the abnormal particles, we propose particle rejection weighting, which estimates the uncertainty of particles by exploiting NeRF’s characteristics and considers them in the particle weighting process. Our Fast Loc-NeRF sets new state-of-the-art localization performances on several benchmarks, convincing its accuracy and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google