LATITUDE: Robotic Global Localization with Truncated Dynamic Low-pass Filter in City-scale NeRF

要約

Neural Radiance Fields (NeRF) は、複雑な 3D シーンを高解像度のディテールと効率的なメモリで表現することに大きな成功を収めています。
それにもかかわらず、現在の NeRF ベースの姿勢推定器には最初の姿勢予測がなく、最適化中に局所的な最適化が行われる傾向があります。
この論文では、LATITUDE: Global Localization with Truncated Dynamic Low-pass Filter を紹介します。これは、都市規模の NeRF に 2 段階の位置特定メカニズムを導入します。
場所認識段階では、トレーニング済みの NeRF から生成された画像を使用してリグレッサーをトレーニングします。これにより、グローバル ローカリゼーションの初期値が提供されます。
ポーズ最適化段階では、接平面上でポーズを直接最適化することにより、観察画像とレンダリング画像の間の残差を最小限に抑えます。
局所最適への収束を避けるために、粗いポーズから細かいポーズへのレジストレーション用に切り捨てられた動的ローパス フィルター (TDLF) を導入します。
合成データと実世界データの両方でこの方法を評価し、大規模な都市シーンでの高精度ナビゲーションへの潜在的なアプリケーションを示します。
コードとデータは、https://github.com/jike5/LATITUDE で公開されます。

要約(オリジナル)

Neural Radiance Fields (NeRFs) have made great success in representing complex 3D scenes with high-resolution details and efficient memory. Nevertheless, current NeRF-based pose estimators have no initial pose prediction and are prone to local optima during optimization. In this paper, we present LATITUDE: Global Localization with Truncated Dynamic Low-pass Filter, which introduces a two-stage localization mechanism in city-scale NeRF. In place recognition stage, we train a regressor through images generated from trained NeRFs, which provides an initial value for global localization. In pose optimization stage, we minimize the residual between the observed image and rendered image by directly optimizing the pose on tangent plane. To avoid convergence to local optimum, we introduce a Truncated Dynamic Low-pass Filter (TDLF) for coarse-to-fine pose registration. We evaluate our method on both synthetic and real-world data and show its potential applications for high-precision navigation in large-scale city scenes. Codes and data will be publicly available at https://github.com/jike5/LATITUDE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google