Matching Query Image Against Selected NeRF Feature for Efficient and Scalable Localization

要約

NeRF などのニューラル暗黙的表現は、フォトリアリスティックな品質で 3D シーン表現に革命をもたらしました。
しかし、NeRF 表現内での視覚的位置特定のための既存の方法は、特に大規模な環境において、非効率性とスケーラビリティの問題に悩まされています。
この研究では、選択された NeRF 機能を使用する新しいマッチングベースの位置特定フレームワークである MatLoc-NeRF を提案します。
クエリ画像と照合するための有益な NeRF 特徴を識別する学習可能な特徴選択メカニズムを採用することで、効率性を実現します。
これにより、すべての NeRF 機能や追加の記述子の必要性がなくなり、より高速かつ正確な姿勢推定が可能になります。
大規模なシーンに取り組むために、MatLoc-NeRF はポーズを意識したシーン分割戦略を利用します。
これにより、最も関連性の高い NeRF サブブロックのみが特定のポーズの主要な特徴を生成することが保証されます。
さらに、シーンのセグメンテーションと場所予測機能により、高速で粗い初期姿勢推定が行われます。
公開されている大規模データセットの評価では、MatLoc-NeRF が既存の NeRF ベースの位置特定手法と比較して優れた効率と精度を達成していることが実証されています。

要約(オリジナル)

Neural implicit representations such as NeRF have revolutionized 3D scene representation with photo-realistic quality. However, existing methods for visual localization within NeRF representations suffer from inefficiency and scalability issues, particularly in large-scale environments. This work proposes MatLoc-NeRF, a novel matching-based localization framework using selected NeRF features. It addresses efficiency by employing a learnable feature selection mechanism that identifies informative NeRF features for matching with query images. This eliminates the need for all NeRF features or additional descriptors, leading to faster and more accurate pose estimation. To tackle large-scale scenes, MatLoc-NeRF utilizes a pose-aware scene partitioning strategy. It ensures that only the most relevant NeRF sub-block generates key features for a specific pose. Additionally, scene segmentation and a place predictor provide fast coarse initial pose estimation. Evaluations on public large-scale datasets demonstrate that MatLoc-NeRF achieves superior efficiency and accuracy compared to existing NeRF-based localization methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google